子供福祉における人間とAIのパートナーシップ:労働者の実践、課題、そして望みを理解する
目录:
- 简介
- AI决策支持工具的背景
- AI在儿童福利中的应用
- 工作者对AFST的使用实践
4.1. 理解案例的上下文信息
4.2. 补充模型风险分数的限制
4.3. 对ADS能力和局限性的信念
4.4. 组织和激励对决策的影响
- 设计对工作者决策依赖的影响
5.1. 界面层面的设计建议
5.2. 模型层面的设计建议
5.3. 组织层面的设计建议
- 结论
- 常见问题解答
📖 第一节:简介
欢迎阅读本篇关于提升儿童福利中人工智能(AI)合作伙伴关系的研究成果。本研究旨在深入了解工作者在日常工作中如何使用决策支持工具,并探讨他们对该工具的实践中的挑战和期望。本文将详细介绍研究的背景、研究方法以及所得出的结论和设计建议。
🤖 第二节:AI决策支持工具的背景
AI决策支持工具(AI Decision Support Tool,简称ADS)在复杂高风险决策环境中越来越广泛地使用。例如,社会工作、刑事司法和医疗领域都开始使用算法辅助前线工作者做出决策。这些工具旨在弥补人类决策的局限性,然而,由于AI本身的不完善和偏见,人们对这种双重性的认识正在增加。
🧒 第三节:AI在儿童福利中的应用
儿童福利机构开始在日常工作中使用ADS,例如,Allegheny County的人类服务部门在2016年部署了一款名为Allegheny Family Screening Tool(AFST)的算法决策支持工具。AFST帮助社工在对潜在的儿童虐待案件进行筛查决策时使用大量政府行政数据和来电筛查员收集的信息。此工具输出的评分(1到20)用于捕捉儿童虐待的未来风险。AFST不仅在Allegheny County,也在其他公共部门机构中被认为是儿童福利领域人工智能辅助决策的典型案例。
🧑⚕️ 第四节:工作者对AFST的使用实践
通过对工作者的深入实地研究,我们得出了以下几个方面的结论。首先,工作者利用案例的丰富上下文信息来辅助他们的决策,而这些信息在模型使用的行政数据中是无法捕捉到的。其次,工作者经常通过对案例特定的上下文进行考虑来弥补模型风险评分的不足和限制。例如,工作者考虑到来电者的文化误解或隐藏动机,从而决定是否覆盖高风险评分。
此外,工作者对ADS的能力和局限性形成了自己的信念,其中部分信念来自于他们对上下文信息的理解。然而,由于缺乏有关模型的权威信息,工作者需要自己摸索如何了解模型的运作。他们通过与同事一起进行猜测游戏来培养对模型预测结果的直觉,并根据自己的信念来决定是否依赖算法建议。
最后,组织层面的压力和激励机制对工作者的决策依赖也产生了影响。工作者在面对与算法风险评分相左的决策目标时,会考虑到组织对他们的监督和评估措施。这种监督可能导致他们有时会同意高风险评分,以避免被认为与AFST的意见不一致,或者他们觉得自己作为人类决策者的专业知识被低估。
🎨 第五节:设计对工作者决策依赖的影响
基于我们的研究结果,我们提出了以下设计建议,以改善ADS的效果并实现更有效的人工智能与人类决策者的合作伙伴关系:
5.1 界面层面的设计建议
- 设计交互式培训界面,帮助工作者理解ADS的能力和边界,例如通过模拟决策任务展示模型统计推理与工作者自己决策的差异。
- 尽管一些文献警告过度透明性会鼓励“博弈行为”,但缺乏权威模型信息会影响工作者正确使用ADS,因此提供权威模型信息可以减少工作者的不确定感,从而促进对ADS的适当依赖。
5.2 模型层面的设计建议
- 应该包括前线工作者、社区成员和数据科学家等多方利益相关者,共同参与ADS的设计决策,以减少模型与利益相关者之间的价值误差,并改善ADS的性能。
- 支持工作者使用他们的专业知识和实地经验来改进模型预测,例如通过提供直接反馈来完善算法预测。
5.3 组织层面的设计建议
- 建立一种组织文化,表彰和重视工作者作为人类决策者的专业能力,需要领导者与工作者共同决定ADS与工作者之间的决策权分配方式,以及如何通过绩效评估来评估好的决策制定。
🏁 第六节:结论
通过本研究,我们对工作者在儿童福利中ADS的使用实践进行了广泛的观察和分析,得到了关于工作者在使用AFST时决策依赖的重要发现。我们提出了一些设计建议,旨在改善ADS在儿童福利领域的应用并促进更有效的人工智能与人类决策者的合作。我们希望这些研究成果对研究人员和公共部门机构在设计和使用ADS时有所帮助。
❓ 第七节:常见问题解答
-
问:ADS是否能准确预测儿童虐待风险?
答:ADS在预测儿童虐待风险方面并非完美,工作者观察到模型存在一些预测错误的情况。然而,工作者仍然通过结合模型推荐和案例上下文信息来做出决策,以此平衡模型的局限和他们自身的专业判断。
-
问:工作者对ADS透明度的需求是什么?
答:工作者希望获得有关模型的更多信息,以帮助他们理解模型的运作方式和决策依据。缺乏权威模型信息可能导致工作者对模型产生怀疑和不信任。
-
问:工作者对ADS的决策依赖是否受到组织因素的影响?
答:是的,组织压力和激励机制会影响工作者对ADS的决策依赖。工作者需要考虑组织对他们的监督和评估措施,这可能导致他们在决策时倾向于与模型的评分一致,以避免被认为与ADS意见不一致。
-
问:如何改进ADS在儿童福利中的应用效果?
答:我们提出了一些设计建议,包括设计交互式培训界面、多方参与设计决策、支持工作者使用专业知识改进模型预测,以及建立组织文化认可和重视工作者的决策能力。
-
问:ADS是否会带来种族不平等的问题?
答:我们的研究聚焦于决策依赖的实践,而种族不平等的问题涉及更广泛的社会因素。然而,我们在另一篇论文中也探讨了关于ADS在种族决策中可能带来的问题和解决方案。
如果您有更多问题,请随时向我们提问。我们非常乐意回答您的疑问。
请注意:本文为翻译后的简化版本,不代表原始文本文字。