dev.to | 📄 原文链接 | 2026-10-26 收录

用自己的短答案训练,显卡上省掉一半 token

来源:dev.to — 2026-10-25

📋 概述

这是两步实验的第二篇。第一步已经证明:训练数据若来自不设上限的四个答案里挑最短,短思考样本只比典型答案短百分之十一点八,模型学不到什么,最多省百分之六点三的 token,而不训练只调思考预算反能省百分之三十五点八。这一篇只改一件事:采样时就打开六十四 token 的思考上限,再用这些自我生成的短答案做微调。结果在全部一千三百一十九道数学测试题上,每道正确解从九百九十四点九个 token 降到四百五十四点零个,减少百分之五成四,而推理时不设任何上限,答对数从一千一百八十七掉到一千一百七十五。

🔑 核心要点

💡 金句

“On all 1,319 GSM8K test problems, Gemma 4 E2B uses 994.9 tokens per correct answer and gets 1,187 right.”
译:在全部一千三百一十九道 GSM8K 测试题上,Gemma 4 E2B 每道正确解要花九百九十四点九个 token,答对一千一百八十七题。
← 返回 dev.to 首页