注意力不是你需要的：用 Grassmann 流替代 L×L 注意力矩阵

📋 概述

这篇论文质疑一个基础假设：显式自注意力真的是强性能与推理能力的必要条件吗？作者把多头注意力重新解释成一种「张量提升」——把隐向量映射到成对交互的高维空间，再用梯度下降在这个提升后的张量上施加约束；问题在于这种机制极难用少量显式不变量描述。他提出的替代方案叫 Causal Grassmann 层：不做 L×L 注意力矩阵，而是先线性降维，把局部 token 对编码成 Grassmann 流形上的二维子空间（用 Plücker 坐标表示），再门控混合回隐状态，让信息沿着低秩子空间的形变在多尺度局部窗口里传播。Wikitext-2 上，1300—1800 万参数的纯 Grassmann 模型困惑度只差同规模 Transformer 约 10—15%；SNLI 上给 DistilBERT 换上 Grassmann-Plücker 头，验证/测试准确率 0.8550/0.8538，略高于 Transformer 头的 0.8545/0.8511。