324。这是玛丽路易斯通过人工智能租户筛选工具给出的分数。这款名为SafeRent的软件在其长达11页的报告中没有解释分数是如何计算的，也没有解释它是如何权衡各种因素的。它并没有说这个分数到底意味着什么。它只是显示了路易斯的号码，并认为它太低了。在结果旁边的一个方框里，报告上写着：“评分建议：下降”。

　　路易斯是一名保安，他申请了马萨诸塞州东部郊区的一套公寓。她参观公寓的时候，管理公司说她的申请被接受应该不成问题。虽然她的信用评分很低，还有一些信用卡债务，但她的房东给了她很好的推荐信，房东说她一直按时支付房租。她还将使用针对低收入租房者的代金券，保证管理公司每月至少会收到一部分政府支付的租金。她儿子的名字也在代金券上，他的信用评分很高，这表明他可以作为拖欠付款的后盾。

　　但在2021年5月，也就是她申请公寓两个多月后，管理公司给路易斯发了一封电子邮件，告诉她一个计算机程序拒绝了她的申请。她的申请至少要达到443分才能被接受。没有进一步的解释，也没有办法对这一决定提出上诉。

　　“玛丽，我们很遗憾地通知你，我们用来筛选所有潜在租户的第三方服务已经拒绝了你的租约，”邮件中写道。“不幸的是，该服务的安全租赁评分低于我们的租赁标准所允许的评分。”

　　路易斯只好租了一套更贵的公寓。那里的管理层没有用算法给她打分。但是，她了解到，她在SafeRent的经历并不独特。她是马萨诸塞州400多名使用住房券的黑人和西班牙裔租户中的一员，他们表示，由于他们的SafeRent分数，他们的租房申请被拒绝了。

　　2022年，他们联合起来，根据《公平住房法》起诉该公司，声称safent歧视他们。路易斯和另一名原告莫妮卡·道格拉斯（Monica Douglas）称，该公司的算法对使用住房券的黑人和西班牙裔租房者的评分不成比例地低于白人申请者。他们声称，该软件不准确地权衡了他们是否是好租户的无关账户信息——信用评分、与住房无关的债务——但没有考虑到他们会使用住房代金券。研究表明，与白人申请人相比，黑人和西班牙裔租房申请人的信用评分和使用住房券的可能性更低。

　　“等待股市下跌是在浪费时间，”路易斯说。“我知道我的信用不好。但人工智能并不知道我的行为——它知道我拖欠信用卡付款，但它不知道我总是付房租。”

　　自从该组织第一次起诉SafeRent以来，已经过去了两年——时间太长了，路易斯说她已经开始了自己的生活，几乎忘记了这场诉讼，尽管她是仅有的两名原告之一。但她的行为可能仍然可以保护其他使用类似住房计划的租房者，这些计划被称为美国联邦法典第8节代金券，因为他们的位置不会因为算法确定的分数而失去住房。

　　safent已经和路易斯和道格拉斯和解了。除了支付230万美元外，该公司还同意停止使用评分系统，或对使用住房券5年的潜在租户进行任何形式的推荐。虽然SafeRent在法律上没有承认任何不当行为，但一家科技公司接受对其核心产品进行修改作为和解的一部分，这是很少见的；这类协议更常见的结果将是一项财务协议。

　　该公司发言人Yazmin Lopez在一份声明中表示：“尽管SafeRent仍然认为SRS评分符合所有适用的法律，但诉讼既耗时又昂贵。”“越来越明显的是，在这种情况下捍卫SRS评分会转移时间和资源，SafeRent可以更好地用于履行其核心使命，即为住房供应商提供筛选申请人所需的工具。”

　　代表路易斯和起诉该公司的原告群体的律师之一托德·卡普兰（Todd Kaplan）说，像SafeRent这样的租户筛选系统经常被用作“避免直接接触”申请人的一种方式，并将拒绝的责任转嫁给计算机系统。

　　物业管理公司告诉路易斯，是软件自己决定拒绝她的申请，但SafeRent的报告指出，是物业管理公司设定了一个门槛，一个人的申请需要得到多高的分数才能被接受。

　　然而，即使是参与申请过程的人，算法的工作原理也是不透明的。带路易斯看公寓的物业经理说，她不明白为什么路易斯在租这套公寓时会有任何问题。

　　卡普兰说：“他们输入了一堆信息，SafeRent公司正在开发他们自己的评分系统。”“这让人们更难预测safeent将如何看待他们。不仅是那些正在申请的租户，就连房东也不知道SafeRent评分的来龙去脉。”

　　11月20日，路易斯与SafeRent达成和解，和解协议规定，如果房客使用住房代金券，该公司不能再使用评分系统，也不能再建议是否接受或拒绝房客。如果公司确实提出了新的评分系统，它有义务由第三方公平住房组织独立验证。

　　卡普兰说：“去掉‘赞成还是反对’的决定，真的可以让房客说：‘我是一个好房客。’”“这使它成为一种更加个性化的决定。”

　　法律援助协会（Legal Aid Society）的律师凯文·德·利班（Kevin de Liban）在一份关于人工智能危害的新报告中表示，美国9200万低收入人群中，几乎所有人都曾在就业、住房、医疗、教育或政府援助等生活基本领域接触过人工智能决策。作为一家名为TechTonic justice的新人工智能司法组织的创始人，德利班于2016年首次开始研究这些系统，当时阿肯色州的一些残疾患者找到他，因为自动决策减少了人类的投入，他们突然停止了接受国家资助的家庭护理的时间。在一个例子中，该州的医疗补助分配依赖于一个项目，该项目确定患者的脚没有任何问题，因为它已经被截肢了。

　　“这让我意识到，我们不应该把（人工智能系统）视为一种极其理性的决策方式，”德利班说。他说，这些系统基于“垃圾统计科学”做出各种假设，产生了他所谓的“荒谬”。

　　2018年，在德利班代表这些患者起诉阿肯色州人类服务部的决策过程后，该州立法机构裁定，该机构不能再自动确定患者的家庭护理分配。在对抗算法决策带来的危害的斗争中，德利班取得了初步胜利，尽管它在全国范围内仍在就业等其他领域使用。

　　限制人工智能使用的法律很少，尤其是在做出可能影响个人生活质量的重大决策时，对受自动化决策伤害的人进行问责的途径也很少。

　　今年7月发布的《消费者报告》（Consumer Reports）进行的一项调查发现，大多数美国人“对在与住房、就业和医疗保健有关的重大生活时刻使用人工智能和算法决策技术感到不安”。受访者表示，不知道人工智能系统用来评估他们的信息，他们感到不安。

　　与路易斯的情况不同，当一个算法被用来对他们的生活做出决定时，人们通常不会得到通知，这使得他们很难对这些决定提出上诉或质疑。

　　“我们现有的法律可能是有用的，但它们能给你带来的东西有限，”德利班说。“当涉及到穷人时，市场力量不起作用。所有的动机基本上都是生产更多糟糕的技术，而公司没有动力为低收入人群提供好的选择。”

　　拜登（Joe Biden）领导下的联邦监管机构已经多次尝试赶上快速发展的人工智能行业。总统发布了一项行政命令，其中包括一个框架，部分目的是解决人工智能系统中的国家安全和歧视相关风险。然而，唐纳德·特朗普已经承诺撤销这项工作并削减监管，包括拜登关于人工智能的行政命令。

　　这可能会使像路易斯这样的诉讼成为追究人工智能责任的更重要途径。这起诉讼已经引起了美国司法部和住房和城市发展部的兴趣，这两个部门都负责处理影响受保护阶层的歧视性住房政策。

　　卡普兰说：“从某种程度上说，这是一个具有里程碑意义的案件，它有可能为如何看待这些案件提供一个路线图，并鼓励其他挑战。”

　　不过，德利班说，在缺乏监管的情况下，让这些公司承担责任将是困难的。诉讼需要时间和金钱，这些公司可能会找到一种方法，为没有被集体诉讼覆盖的人建立变通方案或类似的产品。“你不能每天都提起这类案件，”他说。