字节语言模型：缩放、涌现的抽象与信息分配
来源：arxiv.org — 2026-10-05
📋 概述
这篇论文研究无分词器的字节级语言模型：把文本直接当字节建模去掉了固定分词器的归纳偏置，但序列变长、计算量上升，也失去了显式的文本抽象。作者刻意使用平坦 Transformer（不带 BLT/H-Net 那种局部-全局-局部结构），结论是：加上 token 叠加训练与哈希嵌入后，字节模型随参数规模持续优于子词模型；相同 FLOPs 预算下，数据与参数的最优比例约为子词模型的 1.5 到 3 倍，长序列因此从缺陷变成一条可用的计算扩展轴。研究还发现字节模型会自行学出类似分词的分段位置，把最多 25% 的中间层限制为只使用这些局部表示，仍能保住下游性能。
🔑 核心要点
- 在平坦 Transformer 上（不带显式局部-全局-局部层次）研究字节模型
- 两个关键配料：token 叠加训练与哈希嵌入，并把 gated DeltaNet 的卷积宽度从 4 增到 16
- 相同参数量下字节模型损失更低；相同 FLOPs 下数据/参数最优比例约为子词模型的 1.5–3 倍
- 长序列不应只看作缺陷，它在同样参数预算下提供了额外计算
- 字节模型会学出类似分词器的分段位置，把最多 25% 的中间层限制为只用这些局部表示仍能保持性能
- 不确定性集中在局部结构边界；用于推测解码时，可接受的 token 数是子词模型的 3.4 倍
💡 金句
随着模型规模扩大，字节 Transformer 持续优于子词 Transformer。
👍 0
👎 0
← 返回 Lobsters 首页