打开思考模式之后:工具调用涨分,数学几乎没动
来源:dev.to — 2026-10-21 · 约 9 分钟阅读
📋 概述
同一张 4GB 显卡、同一份本地推理二进制、同样的四位量化权重,作者把两个小模型的思考模式都打开,重测数学题与工具调用。结论是:思考对其中一个模型的工具调用值 17.7 分,对另一个几乎测不出收益;数学上思考只带来 3.7 分且区间包含零;两个都开思考时,另一个模型在数学上仍领先 10.3 分、工具调用领先 5.0 分。代价是前者每题思考中位 7607 个 token,后者 808 个。
🔑 核心要点
- 一个启动参数就能给两个模型开思考,思维链单独放在 reasoning 字段里,不参与评分。
- 思考的收益高度依赖任务类型:工具调用吃到了,数学几乎没吃到。
- 小模型开思考容易陷入循环,采样参数必须调,否则只是在烧 token。
- 评测只对最终回答打分,思考过程留档供人回看,但不能当成答案的一部分。
💡 金句
“Thinking is worth 17.7 points to Qwen3.5-2B on BFCL tool calling and nothing measurable to Gemma 4 E2B.”
译:思考模式给 Qwen3.5-2B 的工具调用涨了 17.7 分,对 Gemma 4 E2B 则测不出任何收益。
← 返回 dev.to 首页