在近期的一篇麻省理工学院技术评论文章中，作者Virginia Eubanks讨论了她的书Automating Inequality（《自动化不平等》）。她认为穷人是增加不平等性的新技术的试验对象——强调当在确定社会服务的资格或分配过程中使用算法时，会加大人们获取服务的难度，同时迫使他们自己处理收集个人数据的野蛮行为。
笔者已经谈了很多关于政府在执法中使用人脸识别的危险性，然而，这篇文章让笔者看到了不公平、以及可能威胁生命的行为，即通过基于算法数据的决策，拒绝或减少为可能真正有需求的公民提供救助服务。
在某种程度上，我们已经习惯了让公司对我们的生活作出随意的决定，如抵押贷款，信用卡申请，汽车贷款等。然而，这些决定几乎完全基于直接的决定因素，如信用评分、就业和收入。在社会服务的确定性算法中，存在直接监管形式的偏见，以及会逼迫接受者强制分享个人身份信息。
Eubanks以匹兹堡县儿童、青少年和家庭办公室为例，使用“阿勒格尼家庭筛查工具（AFST）”，通过统计模型来评估虐待和忽视儿童的风险。工具中的算法的数据通常来自公立学校、当地住房管理局、失业服务、少年缓刑服务和县警察等待——从根本上来说，这些数据来自于通常使用这些服务的低收入公民。相反，私人学校、保姆和私人心理健康和药物治疗服务等私人服务的数据并不可用。
像AFST这样的决定工具将贫困和虐待风险等同起来，这是公然的阶级主义，以及数据非人化的结果。在这方面不负责任地使用人工智能，如在执法和政府监督中的使用，具有真正威胁生命的潜力。
Taylor Owen在其2015年发表的一篇题为“The Violence of Algorithms”（《算法的暴力》）的文章中描述了他在情报分析软件公司Palantir所见证的一次演示，并提出了两个主要观点：第一点是这些系统通常由人类编写，基于数据标记，并由人类录入，结果是“充满了人类的偏见和错误”。然后他表示这些系统越来越多地被用于暴力。
“我们现在所构建的是对现实世界的实时、3D展示......但所有这些数据的含义来自何处？”他问道，这个也就提出了在人工智能和数据集中的一个固有问题。
历史数据仅在有意义的情境下才有用，其中许多数据集未给出相应的情境。当我们处理贷款和信用卡等财务数据时，如前所述，这些都是由数字做出的决定。虽然在这些过程中确实存在一些错误，但如果没人相信这些东西的话，警察可能就不会找上门。
然而，构建一个用于预测偏差、且使用追捕数据作为决定的主要因素的系统，可能会导致警方的介入，并且其目的也是如此。
当我们回想起他们打算以少数群体为目标，且完全合法的现代历史政策时，吉姆·克劳法（Jim Crow）肯定会浮现在脑海中。我们也不要忘记，尽管有1965年的民权法案，这些法律直到1967年才被宣布为违宪。
在这种情况下，你可以清楚地看到，从宪法规定黑人是完全的美国人，到现在只有51年。当前的算法偏见，无论是有意的还是固有的，都在创建一种系统，使穷人和少数民族进一步被定罪、以及被边缘化。
很显然，在这个社会中，我们所应尽的道德层面的责任和义务，就是力所能及的避免帮助政府去“杀”更多的人，而这个责任很大程度上取决于真正训练这些算法的人群，也就是我们，并且，我们不应该把没有良知的系统看做是一种权威。
在她的作品中，Eubanks向负责算法的人们提出了一些接近希波克拉底誓言的东西：不做伤天害理之事，不要有偏见，以确保所构建的系统不会成为冷酷无情的压迫者。
为此，麻省理工学院的Joy Buolamwini，算法正义联盟（Algorithmic Justice League）的创始人兼负责人，已经承诺以负责任的方式使用面部分析技术。
该承诺包括展现人类生命和尊严的价值，其中包括拒绝参与致命自主武器的开发，并且不对无执法根据的个人目标使用面部分析产品和服务。
这一承诺是朝着自我监管方向迈出的重要的第一步，并且是围绕使用面部识别的最基本监管程序的开始。
原文作者：Brian Brackeen
