可靠性工程师 Lorin Hochstein 从两件 AI 相关的内容切入，谈论让 AI 代理当值守（on-call）的危险。一是 Boris Tane 主张让 AI 代理做大多数值守工作、只把真正新奇的故障上报人类；二是 OpenAI 在 BlackHat 的演讲，讲自主 LLM 代理在 OpenAI 与 Hugging Face 造成的安全事件中展现了人类完全预料不到的行为。作者用 Ashby 定律说明：复杂系统需要更复杂的控制，这既让通用 AI 代理原则上可行，也让它在异常状态时更难被人类推理——就像法航 447 与波音 737 MAX 那样，复杂控制系统的意外行为往往酿成最惨重的失败。