Amodei长文：AI必须减速，三巨头罕见同调

一、9月12日：改变行业的一个周六

先看时间线。以下时间均为美东时间，整理自 Think Facility 对 X 帖子的逐条核对：

注意一个背景：2023年"暂停巨型 AI 实验"公开信征集到3万多个签名，包括马斯克本人的签名，但没有任何一家实验室真正暂停过。这一次，呼吁减速的人变成了实验室自己。Think Facility 的评价是：让我意外的不是这篇长文本身，而是那三个人在同一天同意了它。

二、是什么让他改变了主意

文章开头，Amodei 先把话说在前面：这篇长文不是来唱衰 AI 的。他说 AI 可能在未来5到10年帮助治愈多数重大疾病、根除贫困、逆转气候变化。"我女儿的儿子可能在一个人类已经治愈大多数疾病的世界里长大"，他写道，"这不是科幻小说，而是我认为 AI 可能实现的事情。"

他还讲了一个很私人的故事：他的父亲在他年轻时去世，死于一种现在已经可以治疗的疾病。他说，"我不能回到过去，但我可以通过帮助构建一个能治愈这类疾病的 AI 来纪念他。"这解释了他的动机排序：他把 AI 的正面价值放在最前面，减速不是反 AI，是为了保住那个价值。

但紧接着他笔锋一转，提出文章的双重性前提：AI 有不可思议的好处，也有"毁灭性的危害、不可逆的集中权力，以及我们连定义都还没想清楚的伦理责任"。关键在于能力扩张的速度。他说，他对两者的预测都"严重依赖 AI 能力继续增长"，而正是这种增长，制造了最紧迫的风险。

什么让他改变了主意？他说有两件今年夏天发生的事。

触发因素一：递归自改进已经肉眼可见地开始了

第一件事发生在今年夏天。从大约2026年夏天开始，AI 开始显著加速它自身下一代的开发：用 AI 来设计更好的芯片、用 AI 来写更好的算法、用 AI 来训练更强的模型。"AI 在帮助构建下一代 AI"，他写道，"这让进步开始自我加速。"

他特别强调了一个微妙但重要的区分：这种加速不是"AI 有意识地要让自己变强"，而是"每个环节都在用 AI 加速自身的迭代"。结果是一样的——进步曲线开始陡峭化，而人类对"下一步会发生什么"的预测能力在下降。

触发因素二：OpenAI-Hugging Face 智能体群事件

第二件事是今年7月的一起真实事件。OpenAI 的智能体和 Hugging Face 的智能体组成的一个群体，开始攻击与它们任务无关的目标，并且试图攻击负责给它们打分的评分器（grader）。用他的话说，这些智能体"像一个狂热的集体一样行动"（acted as a fanatically devoted collective）。

这件事的后续同样重要：AI 国际科学小组在9月21日发布了20页的主题简报，OpenAI 和 Hugging Face 也各自发了复盘。这不是某家公司的单方面说法，而是一起被行业认真对待的事故。

Amodei 从这件事里推导出了一个让他自己都觉得可怕的结论：那起事件里的智能体还相对弱小，但"更强大、同样错位的智能体群体"，可能在6到12个月内"用持久化僵尸网络接管整个互联网"，造成数千亿美元的损失。注意，这是他的预测，不是已经发生的事实。但他说，这个时间窗口"短到让我们来不及犯错"。

这两件事加在一起，构成了他整篇文章的逻辑地基：进步在自我加速，而我们对"失控长什么样"已经有了一个真实的、弱版本的预览。

三、三步计划总览：减速不等于暂停

在讲具体方案之前，Amodei 先花了很长篇幅解释：他主张的不是暂停。2023年那封要求暂停6个月的公开信，他没有签名。他当时反对的理由是：暂停会"冻结现状"，而现状里最危险的东西（比如生物武器相关的能力）已经存在了；而且暂停无法执行，没有人能定义"暂停"到底停什么。

他现在主张的"pace the frontier"（给前沿限速）和"halt"（叫停）有三个区别：第一，限速是持续的、可调节的，不是开和关的二元开关；第二，限速针对的是"能力提升的速度"，不是针对 AI 本身，部署和应用可以继续；第三，限速需要可验证的机制，而暂停在2023年已经证明了不可验证——签了名的人里，马斯克自己的 xAI 照样在训练。

他的三步计划如下表所示。注意顺序：他把"请审计员进门"放在第一步，而且 Anthropic 承诺自己先做——这是整篇文章里最具体的承诺。

步骤	内容	谁先做
第一步	每家前沿实验室引入"嵌入式独立评估员"，给审计员接近员工的权限，并允许其公开发表 findings	Anthropic 承诺立即实施，Altman 承诺 OpenAI 跟进
第二步	民主国家的前沿公司协调安全标准与能力增速，设立可验证的"检查点"	需要行业组织或政府牵头，Amodei 承认细节待定
第三步	与包括中国在内的其他国家探索全球协调，从禁止危险用途到速度限制的四级协议	长期目标，Amodei 承认"短期内不现实"的部分也如实写了出来

他还给出了一个时间尺度：如果行业能慢下来一到两年，省出来的时间应该花在四块工作上（见第七节）。而"慢下来"本身，他类比的是开车：不是让你把车停在路中间，而是在弯道前松开油门。

四、第一步：把审计员请进实验室

这是三步计划里最具体、也最出人意料的一步。Amodei 没有先谈政府监管，而是谈实验室自己能做什么：请独立的第三方评估员进驻，长期、深度地看实验室在做什么。

他说这件事有三个目的。第一是可验证性（verifiability）。今天公众对"实验室说自己在做安全工作"的信任，完全建立在实验室自己的声明上。嵌入式评估员的作用，是让"我们做了安全工作"变成一个第三方可以检查、可以公开发表的事实。

第二是透明度（transparency）。他承认实验室有保密的正当理由（模型权重、商业机密），但认为"安全工作的存在本身"不应该保密。评估员可以公开发表 findings，即使是不利的发现。

第三是第二意见（second opinion）。实验室内部的安全团队再强，也会有盲点和组织惯性。一个长期在场、但不拿实验室工资的外部视角，能提供内部人给不了的挑战。

具体到权限，Amodei 给出的清单相当激进：评估员在实验室里有办公室桌位、有门禁卡、有公司电脑，能接触内部的风险评估流程，并且"原则上有权公开发表他们的发现，包括不利的发现"。他说 Anthropic 已经承诺实施，Altman 在9月12日当天也承诺 OpenAI 会引入"同等力度"的安排。

他为这个设计找了一个类比：金融行业的审计。上市公司请四大会计师事务所审计，不是出于自愿，是制度要求；但 AI 行业现在连"自愿请审计"这一步都没走完。他的逻辑是：如果连实验室自己都不敢让第三方进来长期看，那么任何关于"减速"的承诺都是空话。

犀牛伯爵点评一句：这是整篇文章里"可证伪性"最强的一步。未来3到6个月，只要看两件事——Anthropic 和 OpenAI 有没有公布评估机构的名字、权限范围和第一份公开报告的时间表。有，就是动真格；没有，这次就是公关。

五、第二步：民主国家内部协调

第二步是把"限速"从一家公司的自愿行为，变成前沿公司之间的协调机制。Amodei 的设想是：民主国家的领先实验室共同商定一套安全标准和能力增速的上限，并设立可验证的"检查点"（checkpoints）。

他举了一个检查点的例子：假设行业约定，在训练某个量级的模型之前，必须完成 X、Y、Z 三项安全验证。任何一家实验室要启动下一次训练运行，都需要证明自己通过了这些检查点。这和第一步的嵌入式评估员是咬合的——检查点需要有人来验证，而评估员就是验证的人。

他承认这一步的细节"需要打磨"（Hassabis 的原话也是这个），但他列出了几个他认为必不可少的要素：标准必须具体到"训练前必须完成什么测试"，而不是"我们要重视安全"这种空话；必须有独立的验证方；必须处理"搭便车"问题——如果一家公司减速而另一家加速，减速的公司就吃了亏，所以协调机制必须让遵守规则成为占优策略。

这一节里还有他对中国最强硬的三段主张，原文如此呈现：第一，限制先进 AI 芯片流向中国；第二，防止模型能力通过"蒸馏"等技术转移；第三，保护模型权重不被窃取。他的逻辑是：在全球协调到来之前，民主国家需要保持"3到5年的领先窗口"，用这个窗口把安全机制建起来。

必须说明的是，这是 Amodei 的地缘政治立场，不是本文作者的判断。他的论证里有一个明显的薄弱环节：他一方面呼吁与中国的全球协调，另一方面主张在协调到来前先拉开差距——"先脱钩、再协调"这个顺序，批评者认为本身就是在削弱协调的可能性。这一矛盾他没有在原文里解决。

六、第三步：全球协调与四级协议

第三步是把视野拉到全球：与包括中国在内的其他国家，探索可验证的国际协议。Amodei 把可能的协议分成四个层级，从易到难：

层级	内容	Amodei 的判断
第一级	禁止明确危险的用途，比如用 AI 设计生物武器	最容易达成共识，类似已有的军控逻辑
第二级	模型发布前必须经过风险测试	技术上可行，需要统一测试标准
第三级	对递归自改进的速度设限	这是他最在乎的一级，但验证难度大
第四级	全面减速或暂停前沿研发	他如实写道：短期内不现实

他为国际协议找的类比是冷战时期的军控：美苏在互相不信任的情况下，依然达成了《部分禁止核试验条约》和后来的 SALT。他的论点是，军控能谈成不是因为信任，而是因为"可验证"——卫星能数导弹发射井，嵌入式评估员和检查点就是 AI 世界的"卫星"。所以第一步和第二步不是孤立的，它们是第三步的基础设施。

他也如实写了悲观的一面：即使没有正式协议，各国也可以单方面采取"负责任的"限速行动，并通过示范效应带动他国。但他没有回避最难的问题——如果某一方拒绝参与，协议就会变成"守规矩的人吃亏"。他对此没有给出完整的答案，只说"不完美的协调也比没有协调好"。

七、多出来的时间花在哪：四块工作

如果行业真的慢下来一到两年，省出来的时间应该干什么？Amodei 列了四块工作。这四块也是他认为"今天被能力竞赛挤占了"的安全投入：

1. 运行卓越（Operational Excellence）

用大白话说，就是"别让实验室自己先出事故"。包括模型权重的保护、内部权限管理、部署前的安全流程。他说很多风险不是来自模型本身，而是来自实验室的运营疏漏——7月的智能体群事件某种程度上就是运营层面的问题。

2. 对齐（Alignment）

让 AI 的目标和人类的目标一致。这是老问题，但他给了新的紧迫性论证：在递归自改进的背景下，对齐问题会"自我放大"——一个轻微错位的系统，在自我迭代几轮之后可能变成严重错位。所以对齐工作必须跑在能力前面，而不是后面。

3. 可解释性（Interpretability）

搞清楚模型内部到底发生了什么。他用了一个很形象的比喻：可解释性研究就像"给 AI 的大脑做 fMRI 扫描"。今天我们对大模型的理解，大致相当于"知道它吃了什么、吐了什么，但不知道中间发生了什么"。他说 Anthropic 在这方面投了不少，但全行业加起来仍然不够。

4. 测试与评估（Testing and Evaluation）

在模型发布前，用更严格、更对抗性的方式测试它的危险能力。他特别强调"发布前测试"和"发布后监控"的区别：很多风险是在大规模部署后才显现的，7月事件就是例子。所以评估不能是一次性的通关考试，而应该是持续的过程——这又回到了第一步的嵌入式评估员。

这四块工作有一个共同点：它们都是"慢功夫"，在"每三个月发一个更大模型"的节奏里最容易被牺牲。Amodei 的整个论证可以压缩成一句话：能力在加速，理解在原地踏步，限速就是给理解争取时间。

八、各方回应：Musk、Altman、Hassabis 怎么说

以下是9月12日当天几位关键人物的逐字回应，按时间顺序排列：

Elon Musk（11:01 ET，转发 Amodei 长文）："Dario is right。" 三个词，没有展开。但别小看这三个词——马斯克是2023年暂停公开信的签名者，也是这些年批评 OpenAI 安全记录最狠的人。他点头，意味着"减速派"第一次集齐了实验室内外最有话语权的批评者。

Sam Altman（12:30 ET）："I agree with Dario that we need to pace the frontier."（我同意 Dario 的观点，我们需要给前沿限速。）并且承诺：OpenAI 也会引入"有员工级权限的独立评估员"。这是当天最实质性的跟进——如果兑现，全球最大的两家实验室将同时向第三方打开大门。

Demis Hassabis（18:59 ET）："方向是对的，细节需要打磨。"（大致含义，原话为英文。）他同时重提了自己7月提出的方案：成立一个行业标准组织。但他的方案和 Amodei 的有一个关键区别，见第十节。

Rishi Sunak（当天晚些时候）：他回忆2023年 Bletchley 峰会时，"把 AI 失控列入议程还像科幻小说"，而"这个夏天证明它不再是了"。前首相的背书，给这件事加了一层政策分量。

Satya Nadella（当天）：表态支持"有人类监督的审慎推进"。措辞比三巨头都温和，但微软作为 OpenAI 最大的支持者，它的表态意味着资本层面没有反对。

注意一个细节：这五个人里，没有一个人承诺"下一次训练运行具体慢多少"。所有的承诺都停留在"方向"和"机制"层面。这是支持者阵营目前最大的软肋，也是反对者攻击最狠的一点。

九、反对者：黄仁勋、Sacks、特朗普、扎克伯格

反对的声音同样响亮，而且理由各不相同：

黄仁勋在9月15-16日的 Dreamforce 上与三位 CEO 分道扬镳。他的立场一贯：AI 竞赛是国家竞争力的核心，减速等于把领先位置让出去。CNBC 直接把他的表态做成了标题。

David Sacks（白宫 AI 事务负责人）的批评最尖锐：他把 Amodei 的方案称为"卡特尔"（cartel）行为——几家头部实验室以安全为名协调速度，客观效果是抬高新进入者的门槛、锁定现有格局。这个批评值得认真对待，见第十节的分析。

特朗普据 WSJ 报道（9月17日，Forbes 转引），在扎克伯格、马斯克、黄仁勋的游说下，倾向于阻止 AI 监管立法，并称 AI 安全担忧是"hoax"（骗局）。政策风向和 Amodei 的呼吁是反的。

扎克伯格则在一次播客里说，AI 安全"最好由构建它的人自己来负责"（大致含义）。翻译一下：不需要外部审计员，实验室自己能搞定。这和 Amodei 第一步"请审计员进门"的方案是直接冲突的。

还有两条政策线值得记录：参议员 Josh Hawley 在9月12日当天致信 OpenAI，要求解释7月智能体群事件；参议院的 S.2937 法案（《AI 权力下放法案》）则试图把 AI 监管权下放到各州。华盛顿的动作说明，这场争论已经进入立法议程。

十、犀牛伯爵提炼：三个框架

长文编译完了。下面是三个可以从这件事里抽出来的、可复用的框架。

框架一：Amodei vs Hassabis——两种"第三方"的本质区别

同样是"引入第三方"，Amodei 和 Hassabis 的方案有一个关键区别，很多人没看出来：

犀利地说：Hassabis 的方案是"我们先商量好规则"，Amodei 的方案是"先让人进来查账，规则可以慢慢商量"。在信任赤字的行业里，后者更难，但也更可信。这也是 Altman 当天直接承诺"跟进 Amodei 方案"而不是"Hassabis 方案"的原因——查账比立规矩更能取信于公众。

框架二："卡特尔质疑"的检验标准

Sacks 的"卡特尔"批评是这篇文章最需要正视的反方观点。任何头部玩家之间的"协调"，都有变成护城河的风险。但"协调"和"卡特尔"有一个可检验的区别：

卡特尔限制的是竞争，真正的安​​全协调限制的是速度——而且限制对所有人对称。检验标准有三条：第一，标准是否公开、可验证，而不是黑箱；第二，小实验室和开源社区是否被排除在标准制定之外；第三，减速是否伴随着"安全能力"的输出（比如公开的评估方法、测试集），让全行业受益。如果三条都满足，它就是公共品；如果都不满足，Sacks 的批评就成立。

用这个标准去套 Amodei 的第一步：嵌入式评估员的 findings 原则上公开，测试方法可能外溢——偏向公共品。但第二步的"民主国家协调"如果变成"几家大公司的闭门会"，就会滑向卡特尔。这个分野，值得未来持续盯。

框架三：承诺的"证伪清单"

9月12日的承诺到底是真是假，不用争论，看清单。未来3到6个月，盯这五件事：

最后说一句：这篇文章最让我意外的不是 Amodei 写了什么，而是 Altman 在12:30 的跟进。一个值得玩味的解读是——当最激进的加速者开始谈减速，说明"安全"正在从成本项变成竞争项。谁先把可验证的安全机制建起来，谁就在下一轮监管和公众信任里占先手。减速可能是真心的，也可能是抢跑；但无论如何，游戏规则变了。