现代大模型里的位置编码是怎么做的
来源：magazine.sebastianraschka.com — 2026-11-15
📋 概述
Raschka 补上了自己一直没写过的一块拼图：大模型如何表示 token 的位置。文章从 GPT 时代的学习式绝对位置编码讲到今天的 RoPE，配可视化、少量数学和一个小的 PyTorch 实现，最后盘点 2026 年开源权重模型各自的选择——有的继续用 RoPE 加各种缩放，有的干脆省掉显式位置编码，交给注意力机制本身处理。
🔑 核心要点
- 先梳理绝对位置编码、相对位置编码与 RoPE 的机制差异，说明为什么 RoPE 成了主流。
- 给出可跑的小型 PyTorch 实现，把公式落到代码上而不是停在推导。
- 盘点 2026 年一批开源权重模型的架构图，按位置编码方式分组对照。
- 指出趋势：位置信息越来越多通过注意力中的相对结构隐式表达，而非固定注入的向量。
💡 金句
This article explains how LLMs encode and process token position information by covering classic and contemporary methods like RoPE.
👍 0
👎 0
← 返回 Hacker News 首页