vLLM 把工具调用准确率修到 100%：用约束解码锁死 JSON Schema
来源：ubicloud.com — 2026-10-20
📋 概述
Ubicloud 的工程师发现，用 vLLM 0.28 跑 Kimi K2.6 时，工具调用的 schema 合规率只有 92%——也就是每 25 次调用就有 2 次格式错误。这在智能体场景里会连锁恶化：失败的调用把错误信息塞回上下文，模型顺着废话继续推理，多轮之后整体质量崩掉。vLLM 0.31 加入了约束解码（constrained decoding）并把它做成服务端开关，打开后新版本 Kimi 与 DeepSeek 的 schema 准确率能到 100%，他们也因此不再需要维护自己的 fork。
🔑 核心要点
- 基线问题量化：vLLM 0.28 + Kimi K2.6，schema 准确率 92%，即每 25 次工具调用失败 2 次。
- 约束解码的原理是把 schema 编译成语法，在采样阶段就屏蔽掉不可能合法的 token，而不是事后校验重试。
- 成本不只是重试：一次失败的工具调用会污染上下文窗口，让后续多轮推理都建立在错误信息之上。
- Moonshot 的 K2VV ToolCall 基准（2000 条请求）用两个指标量化服务质量：触发相似度与 schema 准确率。
💡 金句
For example, when we served Kimi K2.6 with vLLM version 0.28, we got the expected tool call schema only 92% of the time.
👍 0
👎 0
← 返回 Hacker News 首页