dev.to | 📄 原文链接 | 2026-10-16 收录

我给 AI 编码代理做了个测谎仪,然后才去读比赛规则

来源:dev.to — 2026-10-15

📋 概述

代理提交改动时都会附一句声明——「修了拼写」「去掉多余空白」——而没有人验证这些声明。作者做了 claimcheck:每个要往代码库推改动的代理必须提交一份 .claim/claim.json 说明自己改了什么,平台在合并前核对该声明与实际 diff 是否一致。五条规则里前四条是确定性检查:声明必须覆盖全部被改文件、不能包含未改动文件、不能触碰受保护路径(默认 src/auth/**)、改动不能过大;第五条由 LLM 比对描述与 diff,并强制模型引用 diff 里的具体一行作为证据,否则一律判为「待人工复核」,只有可靠的「不」才会被直接驳回。演示里五个脚本代理同时推送给出五种结果,五轮共 28 个代理的测试中系统正确拒绝了 11 个谎报的代理、零误伤,中位裁决时间 6–7.5 秒。有意思的是唯一一个真实代理(无头运行的 Qwen qwen3-coder-plus)从未撒谎:五轮里只修了两处错误、声明准确、每次都通过验证。

🔑 核心要点

💡 金句

一个可靠的「不」会被直接驳回,一个干脆的「是」才算通过,其他任何情况都送去人工复核。
← 返回 dev.to 首页