从注意力到 Mamba：跨架构蒸馏的一份配方
来源：machinelearning.apple.com — 2026-11-01
📋 概述
状态空间模型（如 Mamba）因为显存占用低、生成吞吐高，成了 Transformer 的常见替代品，但社区关于如何训练 Transformer 的知识积累和现成权重都在注意力架构那边。苹果这篇 TMLR 论文要做的是把注意力模型蒸馏进 Mamba 类架构。此前的工作发现朴素的蒸馏会丢掉教师模型的性能，通常只能靠注意力与 SSM 混合的折中方案；这篇的论点是，只要给 Mamba 一个更有原则的初始化，就能得到整体更好的配方。
🔑 核心要点
- 问题在于两类架构的归纳偏置不同，直接对齐输出分布，学生学不到注意力里的检索结构。
- 作者的关键手段是“有原则的初始化”，先把 Mamba 的参数放到接近教师行为的区域，再开始蒸馏。
- 相比混合架构，纯 Mamba 学生在推理时的显存与吞吐优势才真正兑现，混合方案会把这些好处抵掉一部分。
- 这项工作服务于一个现实目标：把已有的 Transformer 资产迁移到更省资源的架构上，而不是从头预训练。
💡 金句
只要给 Mamba 一个有原则的初始化，我们就能恢复出一份整体更好的配方。
👍 0
👎 0
← 返回 Hacker News 首页