你的代理忽略了失败的 Tool 调用:如何在 CI 里抓到它
来源:dev.to — 2026-08-17
📋 概述
作者描述一种结构性缺陷:agent 的 charge_card 工具返回 402,它却照常继续并告诉客户订单已发出。这类「被忽略的工具错误」不需要第二个 LLM 来找——它由 trace 可判定。tracelint 是一个 agent 运行 linter:读取执行轨迹、确定性标记结构 bug、给出精确轨迹行作为证据并返回 CI 退出码,绝不依赖第二个模型评判。
🔑 核心要点
- 被忽略的工具错误是结构性缺陷,可以通过读取执行轨迹确定性判定,无需 LLM 评判。
- LLM judge 定位不精确(只会说「哪里不对劲」)、非确定、每条 trace 都花钱,还无法可靠把关 CI。
- tracelint 在运行之后、基于 trace 而非代码工作,输出精确证据行和 CI 退出码。
- 可判定的一整类 bug:违反 JSON Schema 的工具参数、返回错误后 agent 却当没发生过,等等。
💡 金句
这类 bug 不是「编了个事实」式的幻觉,而是运行中的结构缺陷——而且它们可以确定性判定。
👍 0
👎 0
← 返回 dev.to 首页