Brendan Rappazzo 把道德写成法律,再用对抗 Agent 找漏洞

当天主舞台大多数分享讲的都是怎么让 agent 更好地写代码、调用工具、管住上下文。轮到 Brendan Rappazzo,话题忽然从代码对不对,跳到了一个更难缠的问题:道德对不对。他带来的项目叫 Loophole。做法是把你的道德原则翻译成一套法律条文,再放两个互相较劲的 agent 进去:一个专找”不道德但合法”的漏洞,一个专找”道德但违法”的越界。抓到问题就交给第三个 agent 裁决,能自动打补丁就打,打不了就把判断权甩回给你自己。

原视频:https://www.youtube.com/watch?v=I2cbIws9j10(约 04:41:58 开始)

起点是一次基因检测的纠结

Rappazzo 现在是 Morgan Stanley 的机器学习研究员,他先声明 Loophole 跟工作没关系,纯粹是业余项目。故事的起点是他多年前把自己的 DNA 寄给 23andMe 做祖源检测。后来他不断看到新闻说,有人拿 DNA 样本破悬案、抓凶手,这让他很紧张,担心自己的数据滑向某个说不清的用途,于是把能关的授权都关掉了。

关掉之后他又觉得不对劲。有些用途他其实愿意接受,比如真的拿来破一桩悬案。如果有人能一个案子一个案子地问他同意还是不同意,他答得出来,自己心里对这类边界是有数的。问题是,把所有可能出现的场景提前想一遍、写清楚,这件事本身在认知上就扛不住,没人做得到把自己的道德观逐条枚举完。

法律系统本来就是道德翻译成规则的产物

想通这一层之后,他往回看了一眼法律体系,发现这是同一个问题在社会尺度上的翻版。法律是社会把一群人共同的道德信念翻译成一套可执行规则的尝试,这个翻译很难做到既精确又完备,一旦想追求完美覆盖,反而容易制造出奇怪的边界情况和失效模式。他甚至觉得,人和人之间很多政治分歧,吵的其实不是核心价值,大家在大方向上并不冲突,只是没耐心去抠那些真正见分寸的细节。

英美法系依赖判例法,某种程度上正是承认了这种翻译天然存在裂缝。法律条文写不全,只能靠法官在具体案子里做判断来补,情节严重的还能一路打到最高法院去质疑这条法律本身是否成立。Rappazzo 的想法是,新一代大语言模型已经能做这种级别的道德推理,能不能用生成的方式批量造出这种”判例”,把靠人力枚举不完的活儿交给模型去跑。

游戏怎么玩:一套法典,两个对抗者,一个裁判

Loophole 目前是个终端里跑的游戏。你用自然语言写下自己的道德原则,可以笼统写,也可以针对某个具体议题。一个 agent 把这些原则起草成一份措辞严谨的法典,有序言、有条款、有章节,写得像真正的法律文书。

之后系统进入一个循环:一个 agent 专门找”不道德但合法”的漏洞,另一个专门找”道德但违法”的越界,第三个裁判 agent 拿着你原本的道德原则、生成的法典和这些案例逐一核对。如果只是翻译时的疏漏,裁判可以直接自动打补丁修复法典;如果背后其实是道德观本身的模糊或矛盾,裁判就把案子提交给你做最终判断,再把决定回填进法典。

他举了两个例子,都接着 DNA 授权的主题往下讲。第一个是”不道德但合法”:系统发现某家保险公司训练了一个预测模型,用的不是 DNA 本身,而是 DNA 的衍生痕迹。这在原本的法典里居然是合法的,但判定为不道德,系统直接自动打补丁堵上了这个口子。第二个是”道德但违法”:有人为基因研究提交了 DNA,研究者意外发现他携带一种可治疗的罕见病,按现有法典这属于不该披露的越界。但多数人会觉得告诉当事人才是对的,这一条系统没法自己判,提交给了 Rappazzo 本人裁决。

这一场把验证循环从代码挪到了价值判断

当天主舞台前面几场讲的是 agent 怎么调用工具、怎么管上下文、怎么设权限门槛,谈的都是”代码写得对不对”这层验证。Rappazzo 这场把同一套结构原封不动地搬到了道德和法律这个更抽象的边界上:生成、对抗攻击、裁判核验、自动修复或提交人工。他自己在台上也说破了这层意思:这套机制其实就是一个能一直跑下去的验证循环,跟当天会议反复在讲的东西是同一回事。

这和本地笔记里记过的一个判断能对上号:多模型交叉审代码的做法里,修 bug 和验证 bug 必须用不同角色,一个负责生成、另一个负责挑刺,两边独立才不会自己给自己开脱。Loophole 里的两个对抗 agent,一个专挑”太宽松”的漏洞,一个专挑”太严格”的越界,角色互相对称又彼此独立,是同一种”检查者不能是生成者”的设计,只是审查对象从代码换成了法典。裁判 agent 遇到能自动打补丁的问题就自己处理,遇到真正说不清的价值冲突才升级给人。这也印证了此前看到的一个观点:自治系统真正缺的不是执行力,是有没有一本”证明账本”,能分清哪些问题机器自己就能兜住、哪些必须留给人拍板。Loophole 相当于把这套问责结构,套用到了法律和道德这个此前”可验证系统”很少照顾到的领域。

三个延伸:给聊天机器人写宪法,给隐私协议挑刺,给参议员建模型

Rappazzo 接下来讲的三个延伸方向,野心一个比一个大,从帮公司写聊天机器人的规矩,一路讲到给参议院建模型。

第一个是给客服 agent 或聊天机器人生成”宪法”。公司写下希望机器人遵守的价值观,以及哪些话题该谈、哪些不该谈,系统把这些写成一份系统提示词。再放两个对抗 agent 去攻击它,一个想办法诱导机器人谈不该谈的东西,另一个想办法让它拒答本该正常回答的问题。他把这类攻防类比成一种生成对抗式的打法,只是目标从生成图片变成了生成足够结实的系统提示词。

第二个是去中心化合同。设想你先把希望数据和隐私被怎样处理的原则,走一遍这套流程生成一份法典。等某个平台更新服务条款,比如苹果更新了它的服务条款,就把你的法典和对方的条款拿去对跑,系统会揪出两者之间的矛盾点。如果对方是巨头平台,你多半改变不了什么,但至少清楚知道自己签的是什么。往更去中心化的方向想,如果交易双方都各自生成一份法典再互相对跑,不需要中心化权威介入,也能在签约前就把双方的分歧摆到台面上。

第三个分支他花的篇幅最多:参议院模拟器。他先让 Claude 通读每一位在任参议员的投票记录和公开资料,给每个人建一份对应的道德体系,再跑一遍 Loophole 流程,生成每个参议员各自的法典。这样一来,任何一份提案都可以拿去对跑,由 Claude 模拟每个参议员会怎么投票并给出理由。他拿一份医保法案做过测试,一开始模拟结果是五十票对五十票的平局,系统尝试调整法案的具体措辞,不改变法案的核心主张,最终把票数拉到 52 票通过。他还在往这条线更远处探:用 NVIDIA 那份覆盖全美的模拟人格数据集,给每个州抽 500 个有代表性的人格,同样走一遍生成法典再对跑提案的流程。这套流程能用来衡量一份法案在各州选民里的真实认同度,并尝试反过来调整法案语言去更贴近选民。

我的判断

这三个延伸里,聊天机器人宪法和去中心化合同已经有现成的对照物,本质是把”生成-对抗-裁判”这套结构换个应用场景,风险可控。参议院模拟器这条线不一样,它把”用模拟数据验证系统设计”的路子,直接套到了立法这种真实后果极重的领域。”52 票通过”这类数字,只是 Rappazzo 自己在演示里跑出来的一次结果,没有真实参议员参与验证,也没说明模型模拟投票的准确率经过了什么校验,这类数字一旦脱离演示语境,拿去当结论引用,风险不小。

对我更有启发的是这套结构本身:验证循环不必只用来盯代码对不对,只要能把一件事翻译成”规则加案例加裁判”,这套自动生成对抗案例、能自动打补丁就打、打不了就交给人的模式就能复用。真正的分寸感在于分清楚哪些冲突纯粹是翻译疏漏,机器可以自己兜住;哪些冲突动的是价值观本身,必须留给人。Loophole 把这条线画得比大多数 agent 项目都清楚。