dev.to | 📄 原文链接 | 2026-11-08 收录

同一个模型文件两块显卡答案不同:追到浮点加法那一位

来源:dev.to — 2026-11-06

📋 概述

同一份 GGUF、同一个 llama.cpp 构建、温度为零,笔记本上的 GTX 1650 Ti 答 20,云上的 Tesla T4 答 2000,而且各自每次都一模一样。作者沿一道 GSM8K 题逐词追下去:两块卡的处理器数量不同,矩阵乘被切成 16 份和 40 份,float32 加法分组不同导致末位舍入不同,误差在层间累积;到第 124 个 token 时模型在 spent 与 saved 之间接近平局,两块卡分别落到两边,之后每个词都被这个选择绑定。

🔑 核心要点

💡 金句

“After 124 identical tokens the model reaches a near-tie between " spent" and " saved", the two cards fall on opposite sides of it”
译:在 124 个完全相同的 token 之后,模型在「spent」与「saved」之间几乎打平,两块卡分别落到了两边。
← 返回 dev.to 首页