Off-by-1 实验室：AI 生成的安全补丁仍需专家人工审查

🔑 核心要点

• 六个近期披露的新颖 CVE 上共生成 6,080 个补丁，完整修复且不改行为的成功率仅 26.0%。这意味着大多数看似可用的 AI 补丁在落地前仍需人工仔细甄别，不能直接信任。
• 20.1% 的补丁虽然修复了漏洞却改变了应用行为（如把白名单逻辑改成黑名单）。这类“修复”会悄悄引入功能回归或新的安全隐患，正是自动审查难以察觉的地方。
• 53.9% 的补丁未解决漏洞、新增漏洞或两者兼有。这说明超过一半的生成结果要么无效要么有害，验证环节不可或缺。
• 超过三分之一的成功补丁含脆弱处理：只封堵了 PoC 里的特定输入而非根治底层代码。这样做表面上能通过测试，但对变体攻击依然敞开大门，属于治标不治本。
• 每次尝试加验证的推理成本约 2.11–2.81 美元，但产出有效补丁的概率接近四分之一。这意味着在把 AI 补丁交给专家审阅之前，先跑一轮自动验证往往更划算。
• 建议让领域专家担任最终评审，并发布 FLAWED 工具与完整数据集供防御方评估自家代码库。这样做的好处是让每个团队都能用同一套基准衡量 AI 补丁的可靠性，而不是靠直觉判断。

💡 金句

← 返回 Lobsters 首页