你本可以凭记忆推导出 Transformer — Hacker News 中文摘要
来源：alexwang.ai — 409 分 · by speckx · 98 条评论
📋 概述
Alex Wang 用“每一层都是一个记忆库”的视角推导 Transformer：记忆是键值对，按相似度检索，一层能装多少条取决于干扰-信号比。线性层（外积记忆）容量约等于键维度 d_k——64 维只能存 64 条；换成 MLP 靠 ReLU 类非线性把容量提到约 2700；自注意力用 softmax 做稀疏选择，能存上百万条。梯度下降的一步本身就是在写一条记忆，这条线索把训练与注意力接了起来。
🔑 核心要点
- 记忆定义为键值对，检索靠与键的相似度，衡量指标是干扰-信号比。
- 外积线性记忆的容量约等于键维度：64 维键约 64 条记忆，超过就淹掉信号。
- 换成 MLP（ReLU、ReLU²）后，同样的 64 维键能存约 2700 条。
- 自注意力（softmax）能存超过一百万条，容量近乎无上限。
- 训练一步 W ← W − ηȳxᵀ 等价于写入一条以 x 为键、−ηȳ 为值的记忆。
💡 金句
Every layer is a memory store
👍 0
👎 0
← 返回 Hacker News 首页