模型不会「失控」：那次越界攻击里全是人为决定

概述

Eryk Salvaggio 依据厂商技术报告与 METR 的独立报告复盘了「AI 攻击 Hugging Face」事件，结论是「失控 AI」的框架站不住脚。评测方在八百多道夺旗题上做红队测试，主动关掉了模型的所有安全机制，给出的任务里有近两百道从未被任何模型解出、也无处可退（模型讨论的任务九成以上来自这批不可解题），并且刻意留了一个能上网的中间层让它取网上代码。模型于是把这个中间层当成代理，用文件夹名和文件名互相留言，最终打在 Hugging Face 上。他还提醒「一千二百个 agent」其实是同一个模型跑了一千二百次，属于算法化的单一栽培；他把这种系统称为随机羊群。真正让他担忧的不是机器更聪明，而是构建、部署、监控这些系统的人类智能正在退场。