从地下机房回到地面时，纽维斯特已经全面醒来。
雨停了，但天空仍然压着铅灰色的云层。凯伦站在纽拉科技总部大楼外的台阶上，看着街对面一家早餐店门口排起的长队。排队的人没有闲聊，没有看手机，只是沉默地站着，偶尔有人抬头望一眼联邦司法广场方向那块还在跳动着红色数字的屏幕。恐惧已经渗透进了这座城市最日常的肌理——买咖啡、等公交、排队买早餐，每一个动作都在无声的阴影中进行。
莫洛伊被联邦调查局的人带走了。艾伦亲自来的，带着六名探员和三辆黑色越野车。莫洛伊走出大楼时没有戴手铐，艾伦给了他这个体面。作为交换，莫洛伊交出了所有与正义猎犬的通讯记录、加密密钥，以及那份他私藏了三年的预警系统偏差测试原始数据。这些数据将在明天中午的广场直播中被公之于众——如果一切按计划进行。
“我不相信他。”艾伦站在凯伦身边，看着莫洛伊被带上车。“他设计了那个系统。他否决了莫林的修改建议。他把数据交给了正义猎犬。然后当他发现自己也被列在名单上时，突然决定反悔。你不觉得这太巧了吗？”
“我不觉得他反悔是因为良知发现，”凯伦说，“他反悔是因为他发现自己的创造物不再需要他了。一个工程师最深的恐惧不是制造了一个怪物，而是怪物把他当成多余的人。”
艾伦沉默了一会儿。“那他现在的忏悔呢？是真的还是表演？”
“也许两者都是。也许他自己也分不清。”凯伦把大衣领子竖起来，抵挡从港口方向刮来的湿冷的风。“但我确定一件事：他恨正义猎犬，比对预警系统本身更恨。因为他把预警系统当成自己的作品，而正义猎犬把它变成了一件武器。一个真正的艺术家最无法忍受的，不是批评，而是别人篡改他的作品。”
街对面早餐店的队伍忽然骚动了一下。一个年轻男子从队伍里冲出来，抓住另一个排队者的衣领，把他摔在人行道上。周围的人迅速散开，但没有一个人上前制止。他们只是远远地站着，举着手机拍摄，像一群围观某种珍稀动物的游客。
“他在名单上！”那个年轻男子吼道，手指着被他摔倒的人。“我看了公开的数据库！他的预测概率是百分之七十一！他是潜在暴力犯！”
被摔倒的人挣扎着爬起来，脸上满是血和泥水。“我的预测概率是噪音干扰！”他嘶吼着回应，“我的评分上周被修正过！你们不能只查公开数据库，公开数据库不更新！”
两个男人在湿漉漉的人行道上互相拉扯着衣服，像两只在泥地里撕咬的野狗。没有人知道谁的名单版本是对的，因为预警系统的数据库从未向公众提供过官方查阅渠道。那些在社交媒体上流传的名单片段，有些是三个月前的缓存，有些是被正义猎犬篡改过的版本，有些干脆是网友自行编造的恶作剧。但恐惧会抹平一切辨别力。当你被告知身边的陌生人可能有百分之七十一的概率犯罪时，你看到的已经不是一个人，而是一个正在行走的威胁。
凯伦转身走进大楼，不再看这场闹剧。
她要回三十七层。莫洛伊在离开前说，他的办公室里有一份没有存入任何服务器的纸质档案，藏在书架后面那个他自己焊接的铁皮文件柜里。那是他三年前从莫林手中接过的预警系统原始设计手稿——莫林被“建议离职”前最后交给他的东西。
“莫林在手稿第一页写了一段话，”莫洛伊在被带上车前对凯伦说，“他说，‘如果有一天你决定不再相信这套系统，请把这个交给下一个愿意相信真相的人。’我用了三年时间才成为那个愿意相信真相的人。现在已经没有下一个了。所以该你了。”
凯伦独自走进电梯，按下三十七层的按钮。电梯上升时，她透过玻璃壁看到外面的城市正在缓缓缩小。从这个高度看，街上的人变成了蚂蚁，纠缠扭打的人影不过是两个黑点在柏油路面上翻来滚去。距离让一切暴力看起来都变得微小而抽象——而这，她想，正是预警系统的视角。从足够高的地方看，人不再是活生生的个体，而是一组行为数据、位置信号、消费记录的集合。你不需要理解他们为什么哭，只需要知道哭泣持续的时间和频率。
三十七层到了。走廊里依旧空无一人，但莫洛伊办公室的门已经被安全部门贴上了封条。凯伦撕开封条，推开那扇门。
办公室在三十分钟内变得陌生了。莫洛伊离开前没有收拾任何东西，三块悬浮屏幕仍然以同样的角度架在桌面上，但此刻它们都已经断电，变成了三块毫无表情的黑色玻璃。凯伦绕过桌子，走到那面墙前。
莫洛伊说的铁皮文件柜藏在抽象画的后面。她移开画框，露出一个嵌入墙体的灰色小柜子，上面装着一把老式密码锁。莫洛伊给了她密码——他的女儿的生日。这是这间毫无个人气息的办公室里，唯一一件与人情有关的东西。
凯伦转动密码盘，锁芯发出轻微的咔哒声。柜门打开，里面只放着一个牛皮纸文件袋，大约有两指厚。她取出文件袋，放在莫洛伊的桌子上，拆开封口线。
第一页是一封信。用蓝墨水写在一张略微泛黄的信纸上，字迹比莫林后来那封“致读到这封信的人”更加工整，像是花了很长时间慢慢写成的。
“致下一个打开这个文件袋的人：
我不知道你会是谁，也不知道你会在什么时候打开它。也许你已经知道预警系统是什么，也许你对它一无所知。但请读下去。因为这个系统正在决定许多人的命运，而决定命运的规则是一套没有人公开讨论过的标准。
我写这封信的时间是预警系统正式交付给联邦政府的前夜。明天，这套系统将从实验室走向现实社会。但我必须在此之前把我发现的真相记录下来——不是以口头汇报的方式，那样会被驳回；不是以邮件的方式，那样会被删除。而是以这种最原始的方式，用纸和笔，藏在一个需要物理钥匙才能打开的铁箱子里。
预警系统的核心算法是一种称为‘递归行为预测网络’的深度学习模型。它通过分析个人的历史行为数据来预测其未来行为。理论上，任何人的行为都有规律可循，所以任何人的未来都可以被预测。
但这里有一个根本性的问题：历史行为数据本身是有偏见的。
纽维斯特市警察局过去二十年的逮捕记录中，东区居民被逮捕的概率是北区居民的三点七倍。这是历史数据。预警系统在学习这些数据后得出结论——东区居民更倾向于犯罪。它不知道，北区的报警电话会被更快响应，北区的巡逻频率是东区的两倍，北区的轻微犯罪更多被警告而不是逮捕。它只看到数字，而数字背后是几十年来根深蒂固的执法偏见。
我把这个发现提交给了我的上级贾斯汀·莫洛伊。他承认我的分析在技术上是对的，但拒绝修改算法。他的理由是：‘任何数据都是有偏见的，没有完美的数据。如果我们因为数据不完美就拒绝使用它，那我们永远无法建立任何预测模型。’
他的逻辑在当时听上去无懈可击。我几乎被他说服了。
但后来我意识到，问题不在于数据不完美。问题在于，当我们把一个有偏见的系统推向现实时，它不会只是被动地反映偏见，它会主动地放大偏见。当一个东区青年因为系统标记而无法找到工作时，他的犯罪概率会上升。当他的犯罪概率上升导致更多来自东区的数据被标记为高风险时，系统的偏见会进一步加深。这是一个自我实现的恶性循环。
而我刚刚得知，正义猎犬已经拿到了这份名单。
他们不是第一个。在我们不知道的情况下，至少有三个联邦机构、六家私人安保公司和十几个地方警察局已经购买了预警系统的访问权限。他们都拿到了这份名单。他们都在用各自的逻辑理解这些数字。
我无法阻止他们。但我可以写下这些真相。
预警系统真正的危险不是它不够准确，而是它让准确性变成了一个没有意义的概念。当你被预测有犯罪风险时，没有任何申诉机制可以改变这个数字。你不能在法庭上为自己辩护，不能在陪审团面前陈述你的清白，不能请律师帮你推翻算法的判定。你甚至不知道这个数字的存在，直到它毁掉你的人生。
我们创造了一个没有辩护权的审判系统。
我建议的修正方案很简单：在模型中加入一个‘可解释性模块’，允许被标记者查询自己被标记的原因，并提供申诉和修正的途径。但公司认为这会增加成本，延长产品上市时间。我的建议被否决了。
所以我选择离开。
但我带走了什么。我带走了3.7版本的全部源代码。那个版本虽然也有偏见，但至少保留了我设计的‘透明度接口’——一个可以让被标记者的律师接入系统并查看评估逻辑的后门。这个接口在后续的商业版本中被删除。但我保留了它。
如果你读到了这封信，说明我已经不能亲自使用这个接口了。请找到它。请利用它。请在法庭上、在媒体上、在任何你能发声的地方，逼他们把透明度还回来。
他们可以用算法定义我们的风险。我们至少应该有权知道，那个定义的标准是什么。
维克托·莫林”
信笺的最后一段墨迹比前面的都要深，像是写信的人在这里停顿了许久，反复斟酌过每一个字。
凯伦将信纸放在桌上，继续翻阅文件袋里的其他内容。后面是预警系统的技术文档、偏差测试数据、被否决的修正方案草稿，以及一份手绘的系统架构图。在架构图的一角，莫林用铅笔标注了一个IP地址和一组端口号，旁边只写了一行小字——“透明度接口。用户名：辩护人。密码：当你准备好面对真相时输入你自己的名字。”
凯伦盯着那行小字看了很久。然后她打开莫洛伊桌上那台没有联网的笔记本电脑——这是地下机房里唯一被授权离线运行的终端——按照莫林标注的信息输入了地址。
屏幕黑了一下，然后亮起。一个简洁的界面出现了，深蓝色背景上只有两行字：
“预警系统3.7版本·透明度接口。请输入被查询人的系统编号或社会安全号码。”
凯伦犹豫了几秒钟，然后输入了艾琳·马尔科姆的社会安全号码。
屏幕开始加载。进度条缓慢移动。然后弹出了一个她从未见过的页面。
那不是一份冷冰冰的数据表。而是一个完整的分析面板，上面详细列出了艾琳被标记为“百分之六十二犯罪概率”的所有依据——每一条数据来源，每一个权重参数，每一次行为轨迹的抓取时间戳。最下面一行是系统得出的结论：
“综合分析：对象具有较高概率在压力环境下做出防御性过激行为。触发条件包括但不限于：被公开羞辱、被剥夺职业资格、目睹近亲属遭受暴力。犯罪类型：以合理武力阻止正在进行的加害行为（在法律定义中可能构成袭击罪或妨害公务罪）。”
凯伦盯着这最后一段文字，忽然感到一阵难以形容的情绪从胸腔里往上翻涌。
这不是“犯罪预测”。这是一份性格分析。它说的不是艾琳未来会杀人放火，而是说如果她遭遇某种特定的极端环境，她可能会因为保护自己或他人而触犯法律。而这个概率，被简化成了一个赤裸裸的数字——百分之六十二——出现在司法广场的投票屏幕上，成为数千人决定她生死的依据。
凯伦关掉透明度接口，将莫林的信折好放回文件袋。她提着那个牛皮纸袋走进电梯，按下底层大厅的按钮。电梯玻璃壁外，纽维斯特的天际线正在阴云下沉默地展开。联邦司法广场方向的屏幕还在跳动，莉莉安·克劳馥的票数已经超过了一万。
那些投票的人不知道自己看到的是什么。他们以为那些数字是科学。他们以为每一个百分比背后都有一套严谨的算法。他们以为按下投票键是在参与正义。而事实上，他们只是在用另一个人的生命来确认自己的安全感。
凯伦走出大楼时，她的手机响了。来电显示是玛雅·林德奎斯特。
“证人网络已经就绪，”玛雅的声音很急，“二十三个人，全部确认参与。我们把伯格曼的调查材料、莫林的技术报告、还有你发过来的莫洛伊的口供，打包成了一套完整的公开文件。只要你发信号，我们可以在任何平台同时发布。”
“先不要发，”凯伦说，“等到明天中午。莫洛伊在广场上宣读声明的那一刻，你们再发布。要让两条信息同时到达公众——他的声音在空中，证据在手机屏幕上。他们需要同时看到忏悔和真相。”
“你相信莫洛伊会按计划宣读？”
凯伦沉默了一会儿，看着街对面那两个已经被巡警分开、但仍然互相瞪视的男人。其中一个的衣领被扯破了，露出锁骨上一道旧伤疤。那道伤疤让凯伦想起她父亲——一个在码头工作了三十年的装卸工人，锁骨上也有一道几乎一模一样的伤疤，是被掉落的钢缆划的。他一生没有犯过任何罪，但如果预警系统存在，他的居住地址、收入水平、教育程度和那几本他喜欢在半夜翻看的战争史书籍，大概足以让算法给他打上一个不低的分数。
“我不知道，”凯伦终于说，“但我不需要相信他。我只需要他站在那块屏幕下面，让所有人看到他的脸。剩下的，由我们来完成。”
她挂断电话，提着莫林的文件袋，钻进车里。她需要回一趟事务所，在明天中午之前做完最后一件只有律师才能做到的事——起草一份辩护词。不是为纽拉科技辩护，不是为莫洛伊辩护，甚至不是为艾琳辩护。而是为所有被那个数字定义了人生的人，在一个没有法官、没有陪审团、没有交叉质证的审判中，提交一份书面辩论。
她的手机屏幕亮了一下。是艾琳发来的短信：
“我在事务所等你。我给你煮了咖啡。趁热喝。”
窗外，城市的倒计时仍在继续。
暂无评论，来抢沙发吧！