对齐不在轨道上：有人融了 1.5 亿美元，去补一个证明

Alignment Forum 上周出现一篇文章，第一句话是：对齐没有走在轨道上（Alignment is not on track）。

这种话，悲观派博主每周都在说，不稀奇。稀奇的是这次说话的人——这是一家新研究机构的成立宣言，写它的人，接下来要拿一到一点五亿美元去解决这个问题。

机构叫 Sequent。

首席科学家 Geoffrey Irving，在 OpenAI 和 DeepMind 都做过安全研究，"辩论"（debate）这个对齐方法的提出者之一。研究主任 Daniel Murfet 更有意思——一个数学家，为了一个叫"奇异学习理论"的冷门方向，把终身教职辞了。再加上英国 AI 安全研究所对齐团队的几个人，和 Murfet 自己创办的 Timaeus 团队。

这套阵容的成色，圈内人看一眼就懂。

顺手解释一下 Murfet 赌上职业生涯的那个方向。奇异学习理论，用代数几何的工具去研究神经网络的损失地形——为什么过参数化的网络，偏偏总能学到泛化得不错的解。十年前这是纯数学家的自娱自乐，现在有一批人赌它是理解深度学习的钥匙。

组织结构也透着同一个判断：联邦制。每个研究主任带一支小团队自治，底下共享同一套自动化基础设施。翻译一下——他们不指望某个大一统理论从天而降，要的是很多条理论线并行赛跑，跑出来哪条算哪条。

训完再测，和训之前就能说清

他们对现状的诊断，拆成白话是这样的。

超级智能（ASI）可能就在未来几年内出现。而实验室现在的安全方法，本质上是经验主义的——训出来，跑评测，红队攻一攻，看上去没问题就发。这套流程抓得住已知的问题，但它给不了一种东西：在训练 ASI 之前，就有原则性的理由相信它是安全的。文档里管这叫 a priori confidence，先验置信。

写代码的人对这个区别不陌生：单元测试和形式验证。测试只能告诉你"试过的案例没炸"，证明告诉你"这一类案例炸不了"。

现在整个行业的安全实践，停在"试过的案例没炸"。

对一个聊天机器人，够用了。对一个比你聪明的系统——你的测试对它来说意味着什么，你自己都说不清楚。

一个证明抵一千次实验

Sequent 打算走两条路。一条是把深度学习的训练过程当成科学对象研究透：为什么这样泛化，训练数据怎么塑造模型。另一条叫"渐近保证"——在写明白的假设之下，证明某些训练协议会收敛到安全的结果。比如 debate：让两个 AI 互相挑对方的错，人类只当裁判。Irving 快十年前就在推这个方向，现在他想给它补上数学。

（debate 的直觉值得一句话：你未必有能力直接评判一个超出你水平的答案，但你大概率看得懂两个 AI 互相拆台时，谁被拆穿了。把"监督比你强的东西"这个不可能的任务，换成"当裁判"这个可行的任务——这是它的全部野心。）

文档里有句话野心极大："一个证明抵得上一千次实验，甚至一个伪证明也抵得上一百次。"

伪证明也值钱——因为它被推翻的方式，会精确暴露哪条假设错了。实验失败你只知道"不行"，证明失败你知道"为什么不行"。

配套的是自动化：让 AI 去跑"理论解释实验、给出预测、实验检验"的研究节奏，人和 AI 一轮一轮迭代。不是全自动产定理。他们没那么天真。

还有一点容易看漏：这不是要另起炉灶取代实验室的安全工作。文档把自己摆在互补的位置上——可扩展监督、启发式论证这些实验室正在跑的方向，Sequent 想补的是它们缺的那块判据：什么条件下，这些方法给出的结果是可以信的。实验室生产方法，他们想生产"信这个方法的理由"。

这个分工里藏着他们真正想卖的商品。不是模型，不是工具，是一种此前没有人专职生产的东西：可检验的信心。

这个数量级的钱，以前不归理论

起步融资一到一点五亿美元。文档说，如果几条研究线并行跑得顺，准备再融至少一个数量级。两年内 40 到 80 个全职研究员，Berkeley、伦敦、墨尔本三地——墨尔本那个点不是随机撒的，Murfet 的数学班底在那边。

四十到八十人这个编制也值得看一眼：比多数 AI 创业公司还小。钱不是砸向人海，是砸向算力和自动化基建——跟他们"理论解锁自动化"的主张，至少是自洽的。

一点五亿美元是什么概念——前两年，这是训练一个像样的基座模型的钱。现在有人拿它去雇数学家写定理。

对齐研究拿到基建规模的钱去做理论，我印象里是第一次。

风险提示页用了加粗字体

不过先把残酷的算术摆出来：他们自己说 ASI 可能就在几年内，而理论研究的产出周期，历史上是十年起步。这两个数字摆在一起，自动化就不是锦上添花，是唯一的指望——要么用 AI 把理论研究压缩进几年，要么承认来不及。整个计划成立的前提，是一场对时间的豪赌。赌输的形态也很具体：定理还在审稿，模型已经在训了。

整份文档最让我停下来的，不是野心，是一句自我拆台：

"我们并不确信自动化能及时奏效。"

这句话就是对上面那道算术题的诚实作答。

他们还主动引用了一篇唱反调的论文，标题就叫《自动化对齐比你想的难》。把这些写进一份相当于融资宣言的文档里，等于在自家招股书的风险提示页用加粗字体。常规的融资叙事不这么写。常规写法是"我们独特的方法将确保"。

我倾向于把这当成好信号。这个领域最大的一笔新钱，流向了把"我可能失败"写在第一页的团队——说明出钱的人也看懂了：这个问题，装是装不过去的。

同一份文档甚至承认了自己的负外部性：资深对齐研究员全球就那么些，Sequent 一开张，等于从各家机构抽血。他们连缓解动作都列了——研究开放发表，跟小机构合作，把养出来的人再投回这个领域。把"我的存在会让同行更缺人"写进自家成立宣言，跟风险提示页用加粗字体，是同一种文风。

还有一个问题他们也替读者想过了：这事为什么轮到一个非营利机构来干？不是实验室不想要理论，是商业节奏等不起。按季度发版的公司，养不起"十年磨一个证明"的研究线。不训前沿模型、不下场竞争，恰恰是这条路线能活下来的前提。

ASI 来不来、什么时候来，我没有判断。

但"对齐不在轨道上"这几个字，从靠它吃饭的人嘴里说出来，分量跟博主说出来不一样。他们给自己定的检验也够硬：训练 ASI 之前，拿出能服人的理由。

到时候拿不拿得出来，数学不会配合表演。