您目前所在位置: 首页 > 今日观察 > 正文

公共部门的算法亦需良知

2018-07-11 16:47:47 文/信息化观察网 作者/编译

在近期的一篇麻省理工学院技术评论文章中,作者Virginia Eubanks讨论了她的书Automating Inequality(《自动化不平等》)。她认为穷人是增加不平等性的新技术的试验对象——强调当在确定社会服务的资格或分配过程中使用算法时,会加大人们获取服务的难度,同时迫使他们自己处理收集个人数据的野蛮行为。

笔者已经谈了很多关于政府在执法中使用人脸识别的危险性,然而,这篇文章让笔者看到了不公平、以及可能威胁生命的行为,即通过基于算法数据的决策,拒绝或减少为可能真正有需求的公民提供救助服务。

在某种程度上,我们已经习惯了让公司对我们的生活作出随意的决定,如抵押贷款,信用卡申请,汽车贷款等。然而,这些决定几乎完全基于直接的决定因素,如信用评分、就业和收入。在社会服务的确定性算法中,存在直接监管形式的偏见,以及会逼迫接受者强制分享个人身份信息。

Eubanks以匹兹堡县儿童、青少年和家庭办公室为例,使用“阿勒格尼家庭筛查工具(AFST)”,通过统计模型来评估虐待和忽视儿童的风险。工具中的算法的数据通常来自公立学校、当地住房管理局、失业服务、少年缓刑服务和县警察等待——从根本上来说,这些数据来自于通常使用这些服务的低收入公民。相反,私人学校、保姆和私人心理健康和药物治疗服务等私人服务的数据并不可用。

像AFST这样的决定工具将贫困和虐待风险等同起来,这是公然的阶级主义,以及数据非人化的结果。在这方面不负责任地使用人工智能,如在执法和政府监督中的使用,具有真正威胁生命的潜力。

Taylor Owen在其2015年发表的一篇题为“The Violence of Algorithms”(《算法的暴力》)的文章中描述了他在情报分析软件公司Palantir所见证的一次演示,并提出了两个主要观点:第一点是这些系统通常由人类编写,基于数据标记,并由人类录入,结果是“充满了人类的偏见和错误”。然后他表示这些系统越来越多地被用于暴力。

“我们现在所构建的是对现实世界的实时、3D展示......但所有这些数据的含义来自何处?”他问道,这个也就提出了在人工智能和数据集中的一个固有问题。

历史数据仅在有意义的情境下才有用,其中许多数据集未给出相应的情境。当我们处理贷款和信用卡等财务数据时,如前所述,这些都是由数字做出的决定。虽然在这些过程中确实存在一些错误,但如果没人相信这些东西的话,警察可能就不会找上门。

然而,构建一个用于预测偏差、且使用追捕数据作为决定的主要因素的系统,可能会导致警方的介入,并且其目的也是如此。

当我们回想起他们打算以少数群体为目标,且完全合法的现代历史政策时,吉姆·克劳法(Jim Crow)肯定会浮现在脑海中。我们也不要忘记,尽管有1965年的民权法案,这些法律直到1967年才被宣布为违宪。

在这种情况下,你可以清楚地看到,从宪法规定黑人是完全的美国人,到现在只有51年。当前的算法偏见,无论是有意的还是固有的,都在创建一种系统,使穷人和少数民族进一步被定罪、以及被边缘化。

很显然,在这个社会中,我们所应尽的道德层面的责任和义务,就是力所能及的避免帮助政府去“杀”更多的人,而这个责任很大程度上取决于真正训练这些算法的人群,也就是我们,并且,我们不应该把没有良知的系统看做是一种权威。

在她的作品中,Eubanks向负责算法的人们提出了一些接近希波克拉底誓言的东西:不做伤天害理之事,不要有偏见,以确保所构建的系统不会成为冷酷无情的压迫者。

为此,麻省理工学院的Joy Buolamwini,算法正义联盟(Algorithmic Justice League)的创始人兼负责人,已经承诺以负责任的方式使用面部分析技术。

该承诺包括展现人类生命和尊严的价值,其中包括拒绝参与致命自主武器的开发,并且不对无执法根据的个人目标使用面部分析产品和服务。

这一承诺是朝着自我监管方向迈出的重要的第一步,并且是围绕使用面部识别的最基本监管程序的开始。

原文作者:Brian Brackeen

免责声明:凡注明为其它来源的信息均转自其它平台,由网友自主投稿和发布、编辑整理上传,对此类作品本站仅提供交流平台,不为其版权负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。如果您发现网站上有侵犯您的知识产权的作品,请与我们取得联系,我们会及时修改或删除。联系邮箱:leixiao@infoobs.com
发表评论 | 登陆
评论

IDC:一季度苹果三星份额下滑 中...

IDC:一季度苹果三星份额下滑 中国手机厂商成赢家
新浪科技讯 北京时间4月28日消息,IDC发布报告称,上季度全球智能手机出货量达到3.474亿台,201...

传统资本主动拥抱区块链 有序的...

传统资本主动拥抱区块链  有序的区块链应用生态正在建立
近年来区块链在全球范围内掀起了发展浪潮,并不断释放利好讯号,传统资本紧跟潮流主动拥抱区块链,甚至出现...

法制日报:无人驾驶出事故服务平...

法制日报:无人驾驶出事故服务平台责任无法回避
(原标题:《无人驾驶立法会否摆上台面》) 很多企业现在都极其重视自动驾驶技术研发,而...

被“共享”打劫,实体经济失去了对...

被“共享”打劫,实体经济失去了对消费市场的话语权
被“共享”打劫,实体经济失去了对消费市场的话语权 共享单车,共享电动小汽车,共享充电宝,共享...

苏宁银行获准开业:注册资本40亿...

苏宁银行获准开业:注册资本40亿元 黄金老任行长
新浪科技讯 6月16日早间消息,6月15日晚间,苏宁云商(002024,SZ)发布了《苏宁云商集团股份有限公司关...

全球20万台电脑遭病毒勒索 周一...

全球20万台电脑遭病毒勒索 周一上班后灾情料加重
中新网5月15日电 据外媒报道,欧洲刑警组织指出,至欧洲时间14日早上,多达150个国家的20万台电...
关注官方微信公众号
微信搜索“信息化观察网”或扫描上方二维码

COPYRIGHT © 2007-2018

INFOOBS.COM ALL RIGHTS RESERVED

京ICP备17024783

京公网安备京公网安备 11010802023927号

  • 会员登陆
  • 会员注册
  • 找回密码
captcha