研究簡介
本研究主要希望了解,當人工智能不只提供答案,還說明其判斷方式、所依據的資料,以及如何對照規則時,人們會如何理解這些內容,以及是否認為它們清晰、合理,足以支持自己作出判斷。本研究並非測試參與者是否具備技術背景或專業知識,而是希望了解一般人在閱讀此類材料後的理解、感受與回應。
此研究網頁供參與者審查 AI 處理的個案。你會先閱讀案件事實、規則、初步 AI 判斷與審核 AI 分析,再記錄你自己的判斷,供研究分析使用。
你將審查的內容
案件事實、適用規則、初步 AI 判斷、審核 AI 結論、問題類別、與規則對應的證據及備註。
你將記錄的內容
Q1 是否同意審核 AI 結論、Q2 你是否認為審核 AI 提供的證據充分、Q3 若不同意主要問題是甚麼、Q4 最終動作,以及備註。
研究簡介
本研究主要希望了解,當人工智能不只提供答案,還說明其判斷方式、所依據的資料,以及如何對照規則時,人們會如何理解這些內容,以及是否認為它們清晰、合理,足以支持自己作出判斷。本研究並非測試參與者是否具備技術背景或專業知識,而是希望了解一般人在閱讀此類材料後的理解、感受與回應。
研究問題
目前許多人工智能系統都能快速提供答案,但即使答案表面上看似合理,人們仍未必清楚其依據了哪些資料、是否遺漏了重要資訊,或該結論是否真正具有充分根據。
研究重點
本研究關注的不只是答案是否正確,也關心人工智能提供的說明,是否真的能幫助人理解結果、形成判斷,甚至作出回應。換言之,我們不只看系統有沒有提供資訊,更重視這些資訊對閱讀者而言是否清楚、合理,並真正有用。
案例來源
本研究所使用的案例係根據 Nike 香港公開的網上退款/退貨規則改編而成,並非真實客戶資料,而是供研究使用的案例。
案例內容
每個案例都包含案件事實、相關規則、初步 AI 的判斷,以及審核 AI 對該判斷所作的分析。
受訪者任務
你不需要扮演 Nike 職員,亦無須從零開始裁決案件。你的任務是判斷審核 AI 的說明是否足夠清楚、理由是否充分、分析是否確實依據規則與事實,以及你是否會接受其說明。
你將回答的問題
在研究過程中,您將會閱讀一些簡短個案材料,並按您的理解回答幾條簡單問題,例如:資料是否清晰、解釋是否充分,以及您是否接受相關判斷。
研究價值
您的回應將有助研究了解,一般閱讀者如何理解、感受並回應人工智能提供的判斷與說明,也能幫助研究者辨識哪些部分較清楚、哪些地方仍容易令人困惑,以及在什麼情況下需要由真人進一步核實。
總結
簡而言之,本研究不僅關心人工智能是否能提供答案,也關注當人工智能清楚呈現其判斷過程時,人們是否更容易理解、信任,並將其作為參考依據。
參與完全屬於自願。審查者是在評估審核 AI 的分析,而不是接受測驗。
仔細判斷比速度更重要。部分個案可能帶有模糊性,而你的任務是評估審核 AI 的分析,而不是從零開始解決完整政策問題。
你會輸入電郵地址,只用作接續未完成的工作階段或防止重複提交。系統不會以明文儲存該電郵,而只會保存不可逆的指紋值,並以內部研究 ID 儲存審查回應。
風險與益處
除完成整套審查所需的時間外,預期並無重大風險。部分個案可能較模糊或需要較多思考,但參與者可稍作停頓,之後再返回繼續。請勿在任何自由填寫欄位輸入姓名或其他可直接識別身分的資料。
參與者未必會獲得直接個人益處,但本研究可幫助研究人員更了解人類如何評估 AI 產生的個案決策,從而支持建立更具透明度與問責性的審查系統。
具體個人資料類型與聯絡方式
系統只會收集有限度的研究相關資料:你的電郵地址(用作接續未完成工作階段及防止重複提交)、背景欄位如背景角色、AI 熟悉程度、政策審查熟悉程度、語言偏好,以及你的審查回應和可選備註。電郵不會以明文儲存;研究資料庫中只會保存不可逆的指紋值。
如果你對本研究、參與安排或資料處理有任何問題,請使用以下電郵地址聯絡研究團隊。
聯絡人
Steven Lam
資料保存與分享
原始研究資料將以受限制存取的方式保存,最長為研究完成後 12 個月,之後將刪除或進一步匿名化。
為了研究透明度及可重現性,研究團隊可無限期保存及分享經去識別化處理的資料、分析程式碼及相關說明文件。公開的可重現性材料將不會包含直接聯絡資料、電郵指紋值、工作階段識別碼,或其他可合理識別個別參與者的資訊。
預計時間
完成整套 15 個案例,大約需要 25 至 35 分鐘。
閱讀研究背景與參與者資訊後,請先確認下方聲明,再開始審查。