Qwen3.5-0.8B 的神经元偷偷排了序：训练解释不了的结构
来源：dev.to — 2026-11-07
📋 概述
作者在找「过度迟疑」相关神经元时发现异常：最后一层里 64 个目标神经元有 56 个索引落在前 512 之内，而该层有 3584 个神经元。继续查发现 24 层全是如此，最活跃的 100 个神经元有 63% 到 96% 挤在最低索引区，随机情况应只占 14%，而且只看原始权重、不跑任何 token 就能看出这个顺序。按重要性保留前半层与保留后半层，困惑度差了五个数量级。
🔑 核心要点
- 24 层全部如此：最活跃神经元集中在低索引，比例最高达 96%，随机预期只有 14%。
- 这个顺序在原始权重里就存在，不需要模型处理任何 token。
- 保留前半 MLP 层困惑度从 4.1 升到 8.6，随机保留一半升到 79，保留后半升到四十万以上。
- 前半层仍能写出流畅相关内容，但一道编程题都做不完；随机一半只会反复输出字母 d。
💡 金句
“The front half on its own still writes fluent, on-topic text, but it cannot finish a single programming problem.”
译：只留前半部分仍能写出流畅、切题的文字，但它连一道编程题都做不完。
👍 0
👎 0
← 返回 dev.to 首页