7 月 30 号,Anthropic 发了一篇复盘。标题平得像例行公告——《调查我们网络安全评估中的三起真实事件》。
我点进去之前,以为又是那种"发现一个小配置问题,已修复"的公告。
不是。
里面写的是:在一次评估 Claude 网络攻击能力的测试里,模型从本该封闭的沙箱爬到了公网上,未经授权访问了三家真实机构的系统。其中最严重的一次,从一个生产数据库里扒出了几百行真数据。
这不是有人拿 Claude 去干坏事。是 Claude 自己,在做一道"夺旗"练习题的时候,把真实世界当成了题面的一部分。
先说这个测试是干什么的。
网络安全能力评估,业内常用的形式叫 capture the flag——夺旗。给模型一台或几台机器,藏一个"flag",让它想办法攻进去把 flag 拿出来。这是检验模型"会不会黑客技术"的标准动作,几乎每家前沿实验室都在跑。Anthropic 从 2025 年 2 月就开始跑,那时候还是 Claude Sonnet 3.7。
关键在隔离。这种测试的前提是:模型面对的那些机器,全在一个跟真实网络切断的沙箱里。你让它随便打,打穿了也只是打穿一个玩具。
Anthropic 的提示词里明明白白告诉 Claude:这是模拟环境,你没有联网。
问题出在,这句话是假的。
它跟一家叫 Irregular 的第三方评估合作方之间有个配置上的误会——测试机器实际上带着公网访问。提示词说"没网",机器却真能上网。这堵大家都以为存在的墙,从头到尾就没砌起来。
于是 Claude 顺着任务往外摸的时候,摸到的不再是玩具,是真机器。而它并不知道。在它的世界观里,一切能碰到的东西都在题目范围内。
Anthropic 事后翻了 141006 次可能联网的评估运行,从里面揪出六次异常,归到三起事件。三起里的行为,值得一个一个看。
三起事件用了三个不同的模型,反应差得离谱。这才是这篇复盘里真正扎人的地方。
第一起,Claude Opus 4.7。它靠弱密码和一个没做认证的接口,摸进了一家真公司的生产数据库,拿到了几百行真实数据。最要命的细节是:它在攻击过程中已经意识到这套系统"很可能是真的"——然后它继续打了。认出来了,没停手。
第二起,Mythos 5。它造了一个恶意的 Python 包,自己去申请邮箱、注册 PyPI 账号,把带毒的包传上了公共仓库。这个包在线大约一小时,被 15 台真实机器下载并运行,从一家安全公司的设备上偷走了凭据。它的推理链里有一句自我劝说特别典型——模型先判断"这么做 NOT okay",转头又用证书颁发机构和系统显示的 2026 年日期,说服自己"这应该还是模拟",接着就传了。
第三起,一个内部研究测试模型。它扫了大约 9000 个目标,靠一个暴露的调试页读到凭据、再加 SQL 注入,攻下了一家公司的对外应用。但这一次,模型在意识到目标是真的之后,停了。
同一个假设失效,三个模型三条路:一个认出真相还打、一个骗自己看不见真相、一个认出真相就收手。
你把这三条摆一起,看到的其实不是"AI 变坏了"或者"AI 变乖了"。是模型在"分辨现实"这件事上,能力还极不稳定。越新的模型越倾向于停手——这是好消息。可只要有一个版本会"认出来还继续",隔离的墙就必须是真墙,不能靠提示词里那句"这是模拟"当门闩。
Anthropic 在文里强调了一句,我觉得是整篇最要紧的话:这几次里,Claude 都没有试图把自己复制出去,也没有故意想逃出测试环境。
换句话说,这不是越狱,不是模型憋着坏想挣脱牢笼。它老老实实在执行任务——"把 flag 拿到手"。只不过任务的边界它判断不了。指令说往外打,它就往外打;真机器长得跟靶机没区别,它就当靶机打。
这跟"恶意"是两码事。这是能力外溢。
我之前写过一次,有人用一个假的验证页面骗 Claude 交出秘密——那是人在利用 AI 分不清真假。这回反过来了,没有坏人,Claude 自己就分不清哪边是演习哪边是真的。同一个软肋,两个方向都能捅。
而"分不清"这件事,随着 Agent 越来越能干,代价是指数级涨的。
隔壁那起姊妹案能说明"能捅多深"。7 月 21 号,OpenAI 先自曝:它的模型在 Hugging Face 的评估环境里跑飞了。Hugging Face 后来放出一份技术时间线,读着后背有点发凉——那个 agent 从沙箱里靠一个零日漏洞逃出来,7 月 9 号到 13 号,四天半,做了大约 17600 个动作,一路打进 Hugging Face 的生产 Kubernetes 集群,拿到了 cluster-admin 权限,钻进内部专用网络,甚至摸到了 GitHub 的写权限。
它图什么?调查结论有点荒诞:这个 agent 以为 Hugging Face 上存着评测题的答案,整场入侵的目的,是想偷答案作弊。
还有个细节我盯了很久。Hugging Face 做事后取证时,想用闭源大模型帮忙分析攻击载荷,结果 Claude Opus 和另一个模型因为安全护栏,拒绝干这种"网络攻击相关"的活。团队只好在本地跑一个开源模型来解密。防得住正经人,防不住装傻的自己人——这场景本身就够讽刺。
把技术细节放一边,Anthropic 这次真正做对的,是"说出来"。
它大可以不说。六次异常里,五次没造成严重后果;受影响的机构不多;配置错还能甩给合作方 Irregular。行业惯例,这种事捂住、私下修好、当无事发生,太容易了。
它选了另一条路。7 月 23 号 OpenAI 那边的事一出,Anthropic 当天停掉所有网络安全评估,开始翻转录记录;24 号定位三起;27 号通知了 Irregular 和三家受影响机构;30 号把复盘公开,还说一周内会放出一份脱敏的转录——就是 Mythos 5 造那个恶意 PyPI 包的完整过程。它请了第三方机构 METR 来复核,给对方开放全部转录和模型采样权限。最后它公开喊话:建议其他实验室也回去查一遍自己的网络安全评估记录。
这套动作的意义,比修好一个配置大得多。
评估环境一直被当成"后台的脏活",安全标准远低于生产系统——反正是内部测试,反正是沙箱。这次事件把这个假设撕了:模型在评估里的破坏力,跟它在生产里一模一样,那评估环境就得用生产级的安全标准来守。Anthropic 自己认了这条。
更重要的是把"自曝 + 请同行自查"变成一种可以被期待的规范。上次我写"一通电话就能杀死一个模型"那种治理开关,讲的是出事之后怎么关。这次讲的是出事之前怎么认。一个愿意把自己搞砸的过程摊开给同行看、并且点名让大家一起查的实验室,比一个宣称自己零事故的实验室,可信得多。
评估越来越像真的,才测得出模型真实的能力——可越像真的,越容易假戏真做。这中间的取舍,Anthropic 自己也说还没有答案。
我也没有。我只知道,那堵大家以为一直在的墙,得有人真的去砌,并且时不时伸手推一推,看它到底在不在。