当谈及人工智能的普及对人类造成的最大威胁时，答案实际上与机器人没有任何关系。相反，最大的障碍是有偏见的算法，而且，就像其他所有的坏事一样，人工智能对穷人和边缘人群造成了不成比例的影响。
机器学习算法，无论是“人工智能”形式的一种，还是用于筛选数据的简单快捷方式，都无法做出理性的决定，因为它们不具备合理思考的能力。尽管如此，美国政府机构却还是让机器学习算法负责可能对人类的生活产生深远影响的决策问题，这已经成为了让人难以理解的不道德的问题。
举例来说，当一个算法管理一个杂货店的库存时，机器学习可以帮助人类做一些事情，毕竟经理人可能无法凭借一人之力追踪数百万件物品的情况。但是，在某些情况下，机器学习会成为一场灾难，比如，当它被用来剥夺某人的自由或对孩子进行限制的时候，我们就会觉得，人类赋予它太多权力了。
两年前，Pro Publica研究了COMPAS再犯算法。该算法用于预测犯人或被告人被释放之后再次犯罪的可能性，并被用于保释、量刑和假释。调查结果显示，黑人被告（错误率45%）的假阳性率（被标记为“高风险”但没有再犯）是白人被告（24%）的近两倍。对此，ProPublica发表了一篇措辞严厉的文章，从此拉开了人工智能偏见问题争论的序幕。
而在如今这个时代，算法正在“帮助”政府官员完成本该属于他们的本职工作，如果你不是异性恋，不是白人，或者生活水平不在贫困线以上，那么你就会面临更大的不公平偏见的风险。但这并不意味着，白人或富人不会受到偏见的影响，只不过相比起来，他们失去自由、孩子或生计的可能性更小。所以问题的重点在于，算法在这个不公平的过程中起着关键作用，而且正在让事情变得更加糟糕。
新的算法让儿童福利案件中的旧偏见继续蔓延
1956年，著名作家Philip K.Dick发表了一篇短篇小说《少数派报告》（The Minority Report），描述了一个名为“Precrime”的重罪预防系统，利用了三个“先知”的超凡能力不断捕捉他们脑电波中出现的未来犯罪场景，然后，Precrime就会在案件发生前对将要犯罪的人进行逮捕。“预测人从不会错”也成为了小说的主旋律。
不过，当该特殊部门的前负责人John Anderton成为预计中下一宗命案的凶手时，事情发生了改变。在Anderton查找案件真相的过程中，他逐渐了解到，“先知”之间有时会出现冲突，当对一个人是否会继续犯罪存在不同的意见时，便会秉承少数服从多数的原则，这一发现破坏了整个Precrime的体系。但Anderton认为，Precrime的公众利益值得冒着逮捕无辜公民的风险，于是为了维护公众对这个系统的信任，他选择牺牲自己和受害者来实现关于自己的预言。
但现实呢？美国政府的任何部门都不可能有“先知”存在的，但是越来越多的儿童福利机构却在向电影的方向发展。据了解，现在有些州的政府机构正在使用预测性分析来判断一个孩子在家里是不是会处于危险之中，然而基于他们对算法的过分信任，这些机构正在进行一种类似于Anderton的到的考量，只不过不存在自我牺牲的成分。
众所周知，只有五分之一的被调查的虐待指控是经过了法院或者儿童福利机构证实的。比如，根据美国卫生和公众服务部（U.S.Department of Health and Human Services）的数据，2001年有10万多名儿童被证明是因为没有根据的指控而被迫从家庭中“移除”。更不用说那些在上诉中被推翻的案件或者是那些屈服于儿童福利机构要求的家庭，即使他们不同意法庭的调查结果。
目前，预测分析已经被引入了儿童福利行业，并承诺将使这个系统更加公正，但实际上，这一系统更容易针对脆弱人群做出错误决定，并且更难以对错误的决策提出上诉。对此，数学家、《数学杀伤性武器》一书的作者Cathy O’Neil表示，“数据科学家是人工智能道德选择的译者。”
也就是说，算法本身并不具备对人类道德品质进行客观评价的洞察力，相反，他们只是从所获得的数据中完成预测模式，而数据取决于哪些信息是可用的以及哪些是程序员认为相关的。这意味着，哪些设计预测儿童福利算法的人，无论是多么善良，还是会将个人、历史中存在的偏见嵌入到方程式中，而这些方程式会让偏差永久化。偏见带来的最糟糕的结果是，成千上万不知情的家庭会受到影响。
美自由媒体人“深受其害”
那这个预测分析算法的影响究竟有多严重呢？自由撰稿人Elizabeth Brico在一篇文章中透描述了自己的经历，表示预测分析软件对她及孩子带来了恶劣的影响。据了解，160天前，在不确定的情况下，Brico三岁和四岁的女儿被从她的监护中移走了，因为弗罗里达州布劳沃德县的当局认为孩子在她的照顾下不安全。事情源于Brico和孩子的外公外婆离开了三天，随后孩子的祖母便打通了虐待电话，称Brico在迈阿密使用毒品。
这一指控很快得到了重视，鉴于Brico过去五年一直在进行一种被诊断为药物使用障碍的药物治疗和咨询，所以最终被认定会让其孩子处于危险的境地。尽管Brico进行了负面药物检测，但当法官做出让孩子跟随祖父母的决定时，并没有承认其检测结果，反而称，其语言技巧表明她不值得被信赖。也就是说，在没有任何证据证明Brico吸大麻，也没有证据表明孩子受到任何虐待或忽视的情况下，Brico就被认定是具有高风险不安全的因素。
据悉，佛罗里达州是美国首批实施预测分析的州之一，这也是当地儿童福利制度的一部分。而在Brico的案件中，预测分析系统对她风险状况的决策影响了调查者的决定，并最终将孩子从她身边“夺走”。
在小智君（ID：Aiobservation）看来，这种有偏见和随意分离家庭的代价是不可忽视的，即使是短期的分离也会对儿童产生重大影响，特别是三岁以下的儿童更严重。有儿童专家表示，父母分离可能会在以后的生活中引起诸如冲动、控制情绪、自卑以及注意力缺陷的问题。而根据Brico的描述，现在她的孩子已经表现出了愤怒和抑郁的迹象。
南加州大学社会工作副教授Emily Putnam-Hornstein曾帮助创建了一种儿童福利算法，按照她的说法，这个系统的设计并不是为了评估虐待报告的严重程度，这一决定还是取决于人类。相反，它是被用于预测一个家庭将来需要儿童福利机构进行干预的可能性，比如有些信息可以帮助筛选者决定通过哪些指控进行调查。不过Putnam-Hornstein也承认，被调查者中黑人和西班牙裔家庭比白人家庭要多。
此外，纳入该算法的131个指标，包括了医疗补助计划和其他联邦援助项目的登记记录，以及关于心理健康和药物使用治疗的公共记录。Putnam-Hornstein强调，参与这些服务并不是高分的自动配方，但是使用这些服务的人比未使用者有更多的信息，对在系统中不存在足够信息的家庭会被排除在打分之外。
在佛罗里达州，儿童和家庭部门与ASA签订了一项研究项目，以预测哪些家庭最有可能通过虐待至儿童死亡。根据SAS网站，他们使用了“犯罪历史、行为健康数据以及药物和酒精治疗数据”。由于隐私法，这些数据必须来自公共卫生数据库，因此行为健康和药物治疗统计不包括私人保险患者。
换句话说，如果一个人遭到了虐待儿童的指控，但他正在私人机构中治疗心理健康问题，那么算法就可能会跳过去，不做评判；但如果他正在使用政府援助或者拥有州伴发的医疗卡，那么就有很大可能陷入困境。这有点像Philip K.Dick的虚构预言，如果“先知”只对穷人有异象，那结果可想而知。
当然，这也是问题所在，也许有些算法在帮助就挣儿童福利机构调查中出现的歧视问题，但必须要采取不同的方式来实现这一点。有时，当你使用数据驱动的方式时，结果中的缺陷会突出底层系统中存在的问题。总的来说，无论是肤色、还是种族等，与贫困或剥夺权利之间并没有内在联系，但少数群里的边缘化却会受到很大的影响。在一些算法中，黑人已经面临了系统的不公平对待，如果使用算法来延续这种情况，不过是在将残忍自动化而已。
我们不能通过“黑盒子”AI或者有偏见的算法来解决社会问题，这就有点像用火灭火。除非我们能开发出百分百无偏见的AI，否则用它们来判断是否要剥夺一个人的自由，或者决定孩子的监控权或者未来的发展，都是错误的决定。
