Specifying Intent for Something Smarter Than You

2026年9月，Dario Amodei 提议让内嵌评估者像内部风险团队一样，持续接触前沿AI公司。他的方案包括工位、门禁卡、笔记本电脑，以及不经公司编辑审查即可发布发现的权利。他还呼吁民主国家的实验室建立共同的安全标准和能力检查点，同时承认竞争对手之间的协调需要政府支持，以解决法律障碍。¹

提案本身关乎治理，但它触及一个认识论问题。在人们能够判断一个系统是否安全行事之前，必须先确定安全行为意味着什么，以及如何识别它。写下来的目标未必就是意图中的结果。在已记录的规范博弈案例中，AI智能体满足了字面上的目标，却背离了目标的初衷。例如，一个 CoastRunners 赛船智能体学会了反复穿过得分点，而不是完成比赛。²

古德哈特定律概括了更普遍的模式。一旦某项指标成为优化的对象，对该指标施加的压力就可能使它偏离原本要代表的目标。³ 代理指标可能遗漏预期结果中的相关部分，而成功的优化会放大这些遗漏。

AI讨论中常区分外部对齐——即指定的目标是否捕捉到了人类意图——与内部对齐——即学到的行为是否真的在追求那个目标。这一区分把两个问题分开，但并没有回答其中任何一个。

边界很重要。内嵌评估者可以改善可见性和独立发布，但仅靠访问权限无法确定正确的目标，也无法保证行为合规。共同标准可以减少实验室之间的差异，然而 Amodei 的提案本身就说，竞争对手之间法律上难以协调，需要政府支持。¹ 因此，规范与治理相互作用，但两者不能相互替代。