样本效率黑洞：AI 能力星系的中心，有个没人想看的洞
上周 Dwarkesh Patel 发了篇文章。这个人是硅谷 AI 圈最有分量的播客主播，把各家实验室的创始人和首席科学家挨个请来盘问过，以问题刁钻出名。他自己动笔不多，写出来的一般值得读。
这篇的标题叫《样本效率黑洞》。里面有个比喻我抄了下来：
"我们看这些 AI，像看一个能力闪闪发光的星系。但在星系中心，肉眼看不见、却拽住所有星座的，是一个大到难以想象的数据黑洞。"
数字摆出来是这样的：一个人从出生到成年，听过读过的语言加起来，大约 2 亿个 token。一个前沿大模型的预训练数据，10 万亿到 100 万亿 token。
五六个数量级。
开车也一样。教练带 20 个小时就敢放人类上路，特斯拉和 Waymo 喂了几百万小时的驾驶数据，长尾还没补完。
机器人更狠。人类拧螺丝、叠衣服，看几遍就上手；机械臂要几百万次演示，换个桌面高度还得重学。
这不是哪一家实验室的工程债。这是整个深度学习范式共有的体质。
那又怎样
有一种回应是：那又怎样？
训练是一次性的，成本摊到几十亿次调用上，薄得可以忽略。人类样本效率再高，学习成果锁在一颗脑子里，复制不了。AI 学得笨，但学一次，全世界用。这笔账算得过来。
这个回应在商业上完全成立。我自己做 AI 产品，吃的就是这笔摊销账的红利。
但它回答的是"AI 有没有用"，没回答 Dwarkesh 真正问的那个问题：这东西到底是在理解，还是在用一百万倍的数据量，硬补"不会举一反三"这个短板？
打个不严谨的比方：班里有个学生把十万道题全背了，考纲内的卷子他回回高分。另一个学生只做了两百道题，但他会推导。考纲之内，两人没区别；考纲挪一寸，立刻见真章。"分布内"这三个字，是整场争论的轴——大模型在分布内是前者装成后者，出了分布是哪个，每个深度用过它的人心里都有数。
省十倍，差一百万倍
你可能指望 scaling 把这事顺手解决了。Chinchilla 定律（DeepMind 那篇著名的算力分配论文）泼的就是这盆冷水：参数无限放大，需要的数据量也只能省下十倍左右。
十倍。对着五六个数量级的缺口。
另一个旁证来自 Epoch AI——一家专做 AI 趋势统计的研究机构。他们的数据说，开源模型只落后闭源四个月。如果架构和调参里真藏着什么独门魔法，差距不该这么容易追平。各家的配方其实大同小异，真正的原料从来都是数据。
数据黑洞不是某家实验室的问题。它是这套范式本身的形状。
整个产业的成本结构，其实已经在围着这个洞重排了。爬来的免费文本时代结束——版权官司一场接一场；数据授权变成正经生意——论坛、新闻集团、出版社挨个签协议收钱；合成数据从权宜之计变成专门的产业环节。这些新闻平时被当成零散的商业动态读，串起来看，全是在给同一个洞付账。
洞有多大，账单就有多长。
海伦·凯勒不缺智能
文章里最漂亮的一击是这个：先天又盲又聋的人，一辈子没接收过常人那几十亿 token 量级的视觉和听觉输入，智力完全正常。
所以"人脑其实也偷偷吃了海量感官数据"这条辩护，不成立。人类的通用智能，真不是数据堆出来的。（这一击还顺手挡掉了"多模态数据才是关键"的说法——少了两个完整的模态，智能没打折扣。）
那它是怎么来的？
没人知道。这才是让人坐不住的地方——我们造出了有用的东西，但它聪明的方式，跟我们已知唯一的"真智能"样本，在最基础的指标上差了一百万倍。
一个流行的解释是：大模型干的活，本质是压缩。把人类文明攒下的全部文本压进参数，"智能"是压缩出来的副产品。这能解释它为什么吃这么多数据——压缩器的本事来自被压缩的东西。但人类不是压缩器。人类更像出厂就预装了某种先验，两亿个 token 只是把它点亮。预装的是什么？进化用四十亿年写进去的那部分，到今天没人能把它表达成损失函数。Dwarkesh 在播客里跟研究进化和大脑的人掰扯过这个问题，掰扯到最后，还是开放问题。
我不知道答案。"没人知道"的诚实版本是：这可能是这个时代最值钱的未解之谜。
两条时间线
我的判断是，这事得拆成两条时间线看，不拆开就会吵成一锅粥。
两三年内的应用爆发，不受这个黑洞影响。白领工作的自动化不需要人类级的样本效率——任务都在分布内，RL 和微调够用。该落地的照样落地，该赚钱的照样赚钱。这条线上，悲观没有意义。
不过对从业者，这个洞还管着一件很实际的事：对"下一代模型"的预期。样本效率不破，模型能力就锚死在数据量上——而互联网的存量文本基本见底，各家都在靠合成数据续命。用模型生成数据再喂给模型，左脚踩右脚能上多高，没人敢打包票。"下一代一定比这一代强一大截"这个全行业的默认预期，押的其实也是这同一个洞。
但"智能爆炸"那条叙事不一样。标准剧本是：AI 自动化 AI 研究，递归自我改进，若干个月后抵达超级智能。这个剧本里藏着一个没人念出声的假设——样本效率问题会在路上被顺手解决。Dwarkesh 也点了这一层：实验室们的赌注，就是让自动化研究员去啃这块骨头。
拿一个没解决的问题，赌它会被"它自己"解决。
这个赌注还有层套娃：自动化研究员本身也是大模型，也站在同一个数据黑洞上。让样本效率奇差的系统，去发明样本效率——逻辑上不是不行，自举这种事在工程史上发生过。但它至少不是"顺手解决"四个字听起来那么轻巧。这层套娃能不能自己站稳，目前没有人演示过。
顺带说一个判断这事进展的土办法：盯发布会比的是什么。现在每场发布会都在比能力分数——跑分、刷榜、demo。哪天有一家开始炫耀"我们用同代百分之一的数据，做到了同代的能力"，样本效率才算真正上了牌桌。那会是比任何跑分都值得激动的一页 PPT。
在这页 PPT 出现之前，所有"通往 AGI"的宣言，默认走的都还是"更多数据"那条旧路。
我还没见到这页 PPT。
可能真赌得对。这两年被打脸的悲观预测太多了，我不敢说死。但下次再看到"AGI 还有 N 个月"的时间表，至少可以问一句：样本效率这五六个数量级，排在你时间表的第几行？
我猜多数时间表里，这一行根本不存在。