首页 > 公司新闻 > 内容

亚马逊需要清理其人脸识别算法中的种族偏见

昨天,亚马逊安静的Rekognition计划变得非常公开,因为北加州ACLU获得的新文件显示该系统与奥兰多市以及摩托罗拉解决方案等警察摄像机厂商合作开展了一项积极的新型实时人脸识别服务。亚马逊坚持认为,该服务是一个简单的对象识别工具,仅用于法律目的。但即使我们认真听取了公司的意见,该项目也引发了严重的担忧,特别是在种族偏见方面。


人脸识别系统长期以来一直面临着女性和肤色错误率较高的错误率问题,这些错误率可以直接转化为边缘化群体的更多停顿和逮捕。尽管一些公司已经通过公共偏见测试做出回应,但是亚马逊并没有分享任何关于这个问题的数据,如果它是收集数据的话。与此同时,它已经在美国各地的城市部署了其软件,其增长是由全球最大的云基础设施之一推动的。对于担心算法偏差的人来说,这是一个可怕的想法。


对于昨天报道的ACLU-NC的Matt Cagle而言,偏见的可能性是系统最大的问题之一。“我们对亚马逊显然未能理解其产品对真实人群的影响感到震惊,”Cagle说。“人脸识别是一项有偏见的技术。它不会让社区更安全。它只是更大的歧视性监督和警务。“


最具体的问题是虚假标识。警方通常使用人脸识别来寻找特定嫌犯,将嫌疑人的照片与相机馈送或照片阵列进行比较。但是白人受试者一般不太可能产生错误匹配,而不是黑人受试者,这在许多算法中都存在偏差。用最基本的术语来说,这意味着人脸识别系统对非白种人构成了额外的错误指责和逮捕威胁。这种偏见似乎来自用于训练算法的数据,这些数据通常会扭曲白人和男人。有可能解决这个问题,但是没有公开的证据表明亚马逊正在处理这个问题。


到目前为止,Rekognition没有共享数据,这不是一个好兆头。该项目拥有广泛的开发者文档,涵盖从泳衣检测到名人隐私请求的所有内容,但没有任何关于种族偏见的可能性。昨天美国公民自由联盟的报告破裂后,我直接向亚马逊询问公司是否有任何有关Rekognition的偏差测试的数据,但迄今为止没有任何结果。


这是一个明显的疏忽,部分原因是公共测试在其他面部识别公司中相对普遍。一年多以来,数十家公司一直在公开测量其系统,作为政府项目“面部识别供应商测试”(FRVT)的一部分。由国家标准与技术研究院运行,FRVT是我们拥有的算法偏差最系统的研究之一。供应商提交算法,NIST通过一组受控测试运行它们,尽可能少地旋转报告结果。

结果报告可以向您展示60种不同算法在错误率方面的种族和性别差异。它看起来像这样:

人脸识别供应商测试中的种族和性别错误率图表。

这基本上是偏见的样子。线越高,错误率越高。所以任何地方的红线都比蓝线高,你会发现行动中存在种族偏见。无论哪条线都比虚线高,你会看到性别偏见。(从技术上讲,X轴和Y轴是误报率和误报率,但本质上,更高更糟糕。)纵观图表,您可以看到偏差是一个行业范围的问题,但它也是一个可以解决的问题。来自NEC和Tongyi Trans的最佳算法几乎没有显示任何线条之间的差距,这大概是因为公司通过训练数据集继续工作直到他们解决问题。


关于这张图表的另一件重要的事情是:亚马逊不在其上。FRVT是一个严格意义上的自愿程序,面向联邦承包商试图给人留下好印象,所以亚马逊不在名单上并不令人惊讶。不过,值得考虑的是为什么不。你可以申请商业机密,但是已经有60个算法已经排名,很难说参与这种测试的惩罚很多。但如果没有外部力量强迫亚马逊进入它,那么它就没有理由登录。


我们经常谈论算法偏见,就好像它是邪恶的巫术一样,但在这些术语中,问题很简单。亚马逊和喜欢它的公司需要在这些系统推出之前进行偏见评估。有很多方法可以做到这一点,无论是自愿行业参与如FRVT还是国家级透明度法律,这些法律正逐渐成为刑事司法算法的流行。这可能是严格的规定或轻触规范。但是在这样的算法被公开使用的时候,我们应该对它的工作效果和失败感有一定的了解。


亚马逊庞大的云基础设施使其成为面部识别行业的一个令人望而生畏的竞争对手,其实时试点表明它已经开始超越其更加透明的竞争对手。如果你担心有偏见的算法滑出狂野,这是一个令人不安的想法。我们知道在这些类型的系统中,偏见是可能的,甚至可能的。问题是:亚马逊会对此做些什么?



上一条: 按面部付款:3D面部识别和无摩擦结账

下一条: 人证比对设备的应用

联系我们

地址:深圳市坪山区石井社区盛佰纳工业园B栋梁2楼

电话:0755-23739472

电子邮箱:hujiangyong@126.com

版权所有:深圳市华诺安科技有限公司 技术支持:华人云商