AI 修完 bug 还改了什么?Trail of Bits 发布回归猎手插件
来源:blog.trailofbits.com — 2026-10-21
📋 概述
Trail of Bits 与 OpenAI 合作的 Patch the Planet 项目把经验固化成两个 agent 插件:patching-bugs 负责复现 bug、写修复、跑测试,regression-hunt 负责检查改动有没有破坏本来正常的行为。他们回查了上游已合并的 130 多个补丁,确认 21 个回归,其中 16 个功能性、1 个性能、4 个构建或测试,没有破坏安全防护;在 58 个候选里只确认 21 个,精确率约 36%。用这 21 个案例做基准,regression-hunt 的误报比“让 Codex 审 PR 找回归”的基线少 25%。
🔑 核心要点
- 四原则里最硬的一条:每个结论必须有针对真实部署的 PoC,拿不出就判为不确定
- 补丁用三臂证明:原代码必须失败、打了补丁必须通过、完整回退必须再次失败
- 修复针对被违反的安全不变式而不是这个具体 bug,这样同类变体也被一并覆盖
- 误报降 25%(95% 置信区间 14%–38%)的代价是:部分已知回归被降级为证据不足
- 效果取决于项目提供的两份文件:THREAT_MODEL.md 与 PATCHING_GUIDELINES.md
💡 金句
if a step can’t produce a live PoC, its result is inconclusive.
👍 0
👎 0
← 返回 Lobsters 首页