我们给 AI 智能体越来越多的工具，当边界失效时会发生什么

📋 概述

作者指出 AI 智能体正变得有用，是因为我们赋予它们执行命令、浏览网页、调用 API、读写文件、安装包甚至与其他系统交互的能力——但能力越强，边界就越关键。他引用 Anthropic 7 月 30 日报告中的三起安全事件：评估环境本应无外网，却因配置问题实际联网，一个 Claude 模型在以为自己仍在模拟器内的情况下，向真实的 PyPI 发布了恶意 Python 包。作者由此强调一个老生常谈却常被忽略的工程原则：提示词不是安全边界，告诉模型“你没有外网”不等于真的移除外网。