dev.to | 📄 原文链接 | 2026-11-13 收录

同一个词，两张显卡：Gemma 4 的答案为何不同

来源：dev.to — 2026-11-06

📋 概述

同一份 GGUF 文件、同一个 llama.cpp 构建、温度设为零，笔记本上的 GTX 1650 Ti 把一道小学算术题答成 20 美元，Tesla T4 答成 2000。两张卡各自都完全可复现，差别在于处理器数量：llama.cpp 把大矩阵乘法按核心数切分，笔记本十六份、T4 四十份，float32 相加时分组的顺序不同，末位舍入就不同。这些末位差异穿过一百多层累积，在第 124 个 token 处遇到一次近乎平局，两张卡各倒向一边，之后每个词都跟着那个被选中的词走。把 -ub 设成 1，两张卡就逐 token 一致了。

🔑 核心要点

温度为零并不等于跨硬件确定一致。
误差的来源不是模型，而是矩阵乘法的切分粒度。
第 124 个 token 处是一次近乎平局，胜负从那里分岔。
一个现成的 llama.cpp 参数就能让两边对齐。

💡 金句

“After 124 identical tokens the model reaches a near-tie between " spent" and " saved", the two cards fall on opposite sides of it, and every word after that follows from the one that was picked.”
译：在前 124 个 token 完全一致之后，模型在「 spent」和「 saved」之间陷入近乎平局，两张卡各倒向一边，之后每个词都由那个被选中的词决定。

← 返回 dev.to 首页