上千段对话在大模型内部长什么样
来源：operator0x.com — 2026-11
📋 概述
作者把 Qwen3-1.7B 的内部表示画成了一张可交互的地图：围绕 100 个话题生成中、英、德、克罗地亚语问答与代码样例，逐 token 抽取残差流上的 2,048 维向量，再降维可视化。他想回答的问题是，语义相近的对话是否在向量空间里互相靠近、同一个意思换种语言是否落在相邻区域。
🔑 核心要点
- 实验对象是 Qwen3-1.7B，取残差流（模型各层共享的工作区）里每个位置的 2,048 维向量。
- 样本覆盖 100 个话题、四种语言的问答，外加独立的代码样例集合。
- 先把 15 万个词表的输入嵌入投影到三维，观察起点几何形状，再看对话如何在其上走位。
- 作者强调「心智」只是比喻，但这些向量是可记录、可比较、可分析的真实数据。
💡 金句
Every conversation that could happen with a language model produces a sequence of internal states.
👍 0
👎 0
← 返回 Hacker News 首页