AI偏見問題:您可能成為冤案的黑馬

Find AI Tools
No difficulty
No complicated process
Find ai tools

AI偏見問題:您可能成為冤案的黑馬

目录

  • 入场白
  • 人工智能的偏见问题
  • 在现实世界中的例子
  • 刑事司法中的算法偏见
  • 算法权重和商业秘密
  • 输出中的误差率不平等问题
  • 算法公平性的挑战
  • 计算机科学和法律的交叉
  • 对人工智能的反思和改进
  • 结论

入场白

欢迎来到"院长的角落"的又一个版本。今天,我们非常荣幸地有机会与数据隐私法及网络安全领域的专家进行对话。我们的特邀嘉宾是我们自己的副教授Anthony Haynes,他不仅是战略项目的副院长,还是奥尔巴尼法学院网络安全与数据隐私法的主任。首先,我们将探讨有关人工智能偏见问题。偏见已经成为了人工智能领域的一个重要话题,我们现在非常需要开始关注偏见如何渗透到我们的人工智能编程和操作中。我想请你从这方面着手谈一谈,为什么在人工智能方面存在偏见问题?

🤖 人工智能的偏见问题

这是一个很棒的问题,Keith!感谢你的简短介绍。我的兄弟是一位西点军校的计算机科学教授,而我曾经是空军学院的计算机科学教授。因此,当我与我的兄弟讨论算法和计算机软件可能存在偏见时,他认为我是疯了。他说:“Anthony,这怎么可能?”于是,我不得不向我的计算机科学家兄弟解释为什么存在这个问题。这实际上是一个很难理解的问题。最初,数据科学家和计算机科学家对算法使用进行了探索和质疑,他们发现现有的决策系统会复制我们现有的人类文化。因此,如果我们现有的组织或文化规范中存在偏见或成见,那么算法往往会忠实地复制这些现有规范。对于IT界的人来说,这个想法非常让人困惑,因为他们认为软件不能歧视,代码不能有偏见。然而,我们需要展示决策的结果可能会对受到算法影响的不同人群产生不同的影响。真是令人着迷!我们实际上只是借鉴了过去排除、隔离和种族主义做法,并将其应用到原本中立客观的人工智能系统中。那么,在现实世界中,这个问题会如何演变呢?

在现实世界中的例子

实际上,在各行各业都可能发现这个问题的例子。由于我们是一所法学院,并且对法律感到熟悉,我将使用法律背景下的一个例子来说明。在刑事司法和判刑中,每个司法管辖区都会有某种形式的预测性算法来评估候选人未来犯罪的可能性,也就是再犯风险。一个常用的工具叫做"罗盘(Compass)",它会收集137种因素,并给出一个1到10的输出分数,其中1代表在未来五年内犯罪的可能性为10%,10代表在未来五年内犯罪的可能性为100%。每个被告或罪犯在面临判决时会得到这个分数。有人可能会认为这很好,我们消除了人为主观因素,采用了客观的系统来进行评估,这太棒了。然而,对此有很多批评意见,其中一些包括以下几点:决定如何回答这些137个输入因素的实体通常是假释官、法庭心理学家或检察官,而不是被告的辩护律师。这是第一个问题。此外,有些指标可能是主观的,比如"你是否认为一个饥饿的人有权偷东西",如果你回答"是",或者如果假释官替你回答"是",那可能暗示你对财产缺乏尊重,表明你具有犯罪倾向。而实际上,你的想法可能是:"如果我能选择不饿肚子,我当然会选择不饿肚子"。这里有一个价值判断。但也有一些客观因素,比如你是否曾因犯罪而被逮捕。当数据科学家分析了所有这些因素后,他们发现只有两个因素是真正重要的,而且与更多因素相比给出了更好的预测准确性。这两个重要的因素是年龄和之前的逮捕记录。事实证明,相较于年轻人,年龄较大的人犯罪率和被定罪率较低,而且被逮捕过的人未来被捕和定罪的可能性更大。你可能会想,这两个数据点看起来相对中立,怎么会涉及种族或性别方面的问题呢?结果表明,对于之前的逮捕情况,有色人种社区通常受到过度执法的影响。简而言之,仅仅因为居住在特定的邮政编码区域(请记住,我们的邮政编码实际上是高度隔离的),并不意味着你更有可能被逮捕。因此,这种先前逮捕数据在很多司法管辖区间实际上是一种间接的种族代理。在这个衡量方面,它并不直接说明种族,但它展示了这种数据是如何在执法和逮捕中产生潜在的种族差异的。那么,在算法本身中,它如何给不同输入赋予不同的权重?对于谁有权决定这些权重以及它们是否合理,这是一个大问题。由于这些都是商业秘密,根据商业秘密法,公司有权保密。所以,如果你在刑事案件中作为被告,你有权面对你的指证人,因此你会认为在判决时使用一个秘密算法来评估你再犯风险的分数是你可以面对的一个问题。但根据商业秘密法,公司有权保密。所以,算法本身具有这种不透明的黑盒性质。然后,我们来看输出部分。你会得到一个分数,这个分数介于1和10之间。当你问这家公司它是如何衡量成功的时候,他们会说我们将公平定义为成功,而将公平的成功定义为算法的整体预测准确性。假设它的整体准确性为65%,换句话说,如果它说你将来很可能成为一个罪犯,它大约有三分之二的几率是正确的,你实际上是一个将来的罪犯。而且,也许它在黑人和白人被告的预测准确性之间的差异非常小,分别是65.4%和65.5%。它们之间相差不大。他们会说,看,我们成功了。至少在刑事案件的情况下,我们的目标不是为了捕捉一个罪犯而无情地伤害10个无辜的人,而是为了避免伤害一个无辜的人而有可能释放10个有罪的人。也就是说,从公平的角度来看,你的目标不是预测准确性,而是最小化误差率。这涉及到何时出现误报和漏报的问题。在预测算法中,当它说一个人在未来的犯罪可能性为10/10时,而实际上并非如此时,这就是误报。或者相反,当它说你未来犯罪的可能性是1/10时,而你实际上确实犯了罪时,就是漏报。从公平的角度来看,你希望不同人群的误报率和漏报率大致相同。这对于黑人和白人应该是相同的。然而,对于compass而言,误报率并不相同。实际上,如果你是黑人,被标记为极有可能再次犯罪的概率是白人的两倍,但实际上你并没有再犯罪。所以我们在虚假预测未来犯罪者方面更多地是对黑人和白人进行了预测,而不是实际上是法律遵纪守法的人。相反,如果你是白人,你被预测为将来不会犯罪的可能性要大得多,但实际上在所考虑的时间范围内犯罪的可能性要大得多。而如果你是黑人,你被预测为将来不会犯罪的可能性要小得多。所以这些误差率在系统中存在巨大的差异。公司会说,我们是公平的,因为我们是成功的——我们的整体预测准确性很高。但是批评者会说,不,你不公平,因为这些误差率是如此不成比例,你是不公平对待不同的人群。

Most people like

Are you spending too much time looking for ai tools?
App rating
4.9
AI Tools
100k+
Trusted Users
5000+
WHY YOU SHOULD CHOOSE TOOLIFY

TOOLIFY is the best ai tool source.