您目前所在位置: 首页 > 今日观察 > 正文

公共部门的算法亦需良知

2018-07-11 16:47:47 文/信息化观察网 作者/编译

在近期的一篇麻省理工学院技术评论文章中,作者Virginia Eubanks讨论了她的书Automating Inequality(《自动化不平等》)。她认为穷人是增加不平等性的新技术的试验对象——强调当在确定社会服务的资格或分配过程中使用算法时,会加大人们获取服务的难度,同时迫使他们自己处理收集个人数据的野蛮行为。

笔者已经谈了很多关于政府在执法中使用人脸识别的危险性,然而,这篇文章让笔者看到了不公平、以及可能威胁生命的行为,即通过基于算法数据的决策,拒绝或减少为可能真正有需求的公民提供救助服务。

在某种程度上,我们已经习惯了让公司对我们的生活作出随意的决定,如抵押贷款,信用卡申请,汽车贷款等。然而,这些决定几乎完全基于直接的决定因素,如信用评分、就业和收入。在社会服务的确定性算法中,存在直接监管形式的偏见,以及会逼迫接受者强制分享个人身份信息。

Eubanks以匹兹堡县儿童、青少年和家庭办公室为例,使用“阿勒格尼家庭筛查工具(AFST)”,通过统计模型来评估虐待和忽视儿童的风险。工具中的算法的数据通常来自公立学校、当地住房管理局、失业服务、少年缓刑服务和县警察等待——从根本上来说,这些数据来自于通常使用这些服务的低收入公民。相反,私人学校、保姆和私人心理健康和药物治疗服务等私人服务的数据并不可用。

像AFST这样的决定工具将贫困和虐待风险等同起来,这是公然的阶级主义,以及数据非人化的结果。在这方面不负责任地使用人工智能,如在执法和政府监督中的使用,具有真正威胁生命的潜力。

Taylor Owen在其2015年发表的一篇题为“The Violence of Algorithms”(《算法的暴力》)的文章中描述了他在情报分析软件公司Palantir所见证的一次演示,并提出了两个主要观点:第一点是这些系统通常由人类编写,基于数据标记,并由人类录入,结果是“充满了人类的偏见和错误”。然后他表示这些系统越来越多地被用于暴力。

“我们现在所构建的是对现实世界的实时、3D展示......但所有这些数据的含义来自何处?”他问道,这个也就提出了在人工智能和数据集中的一个固有问题。

历史数据仅在有意义的情境下才有用,其中许多数据集未给出相应的情境。当我们处理贷款和信用卡等财务数据时,如前所述,这些都是由数字做出的决定。虽然在这些过程中确实存在一些错误,但如果没人相信这些东西的话,警察可能就不会找上门。

然而,构建一个用于预测偏差、且使用追捕数据作为决定的主要因素的系统,可能会导致警方的介入,并且其目的也是如此。

当我们回想起他们打算以少数群体为目标,且完全合法的现代历史政策时,吉姆·克劳法(Jim Crow)肯定会浮现在脑海中。我们也不要忘记,尽管有1965年的民权法案,这些法律直到1967年才被宣布为违宪。

在这种情况下,你可以清楚地看到,从宪法规定黑人是完全的美国人,到现在只有51年。当前的算法偏见,无论是有意的还是固有的,都在创建一种系统,使穷人和少数民族进一步被定罪、以及被边缘化。

很显然,在这个社会中,我们所应尽的道德层面的责任和义务,就是力所能及的避免帮助政府去“杀”更多的人,而这个责任很大程度上取决于真正训练这些算法的人群,也就是我们,并且,我们不应该把没有良知的系统看做是一种权威。

在她的作品中,Eubanks向负责算法的人们提出了一些接近希波克拉底誓言的东西:不做伤天害理之事,不要有偏见,以确保所构建的系统不会成为冷酷无情的压迫者。

为此,麻省理工学院的Joy Buolamwini,算法正义联盟(Algorithmic Justice League)的创始人兼负责人,已经承诺以负责任的方式使用面部分析技术。

该承诺包括展现人类生命和尊严的价值,其中包括拒绝参与致命自主武器的开发,并且不对无执法根据的个人目标使用面部分析产品和服务。

这一承诺是朝着自我监管方向迈出的重要的第一步,并且是围绕使用面部识别的最基本监管程序的开始。

原文作者:Brian Brackeen

免责声明:凡注明为其它来源的信息均转自其它平台,由网友自主投稿和发布、编辑整理上传,对此类作品本站仅提供交流平台,不为其版权负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。如果您发现网站上有侵犯您的知识产权的作品,请与我们取得联系,我们会及时修改或删除。联系邮箱:leixiao@infoobs.com
发表评论 | 登陆
评论

人民日报评勒索病毒肆虐:网络安...

人民日报评勒索病毒肆虐:网络安全应杜绝想不到
人民日报 陈凌 我们身处的网络,是一个风险无处不在的丛林,倘若没有安全的甲胄,将危机重重。...

想找个IT男友一起去乌镇

 想找个IT男友一起去乌镇
有了互联网基因的乌镇,再不是当年人们记忆中那个模糊的江南水乡了。 在现代化的人为加工下,&ldquo...

争抢亚洲电商市场,阿里巴巴能否...

争抢亚洲电商市场,阿里巴巴能否将国内电商优势延续到国外
作为国内电商届领军人物,阿里巴巴发展雄心不再拘泥于国内市场,目标开始向国际市场转移,眼下阿里集团急需...

神州优车获中国人保24亿战略投资...

神州优车获中国人保24亿战略投资 全部用于汽车电商业务
新华网北京6月6日电(游苏杭)神州优车昨日晚间发布公告,公司以16.80元/股的价格,向中国人保资...

浪潮孙丕恕:“中国数商”,“电商”...

浪潮孙丕恕:“中国数商”,“电商”之后的又一爆点
2016年政府工作报告中也提出:“持续推动大众创业、万众创新,促进大数据、云计算、物联网广泛应用。”...
关注官方微信公众号
微信搜索“信息化观察网”或扫描上方二维码

COPYRIGHT © 2007-2018

INFOOBS.COM ALL RIGHTS RESERVED

京ICP备17024783

京公网安备京公网安备 11010802023927号

  • 会员登陆
  • 会员注册
  • 找回密码
captcha