让语言模型直接在字节上运作

📋 概述

Nature 论文处理的是子词切分的固有缺陷：把文本切成词或词片段会掩盖细粒度信息，对代码、生物序列这类“意义取决于单个字符或字节”的科学数据尤其成问题。直接用字节编码运作的模型能绕开这些限制，但此前性能一直落后于子词模型。作者提出一种通用的 byteification 两阶段转换流程，只需极少的额外训练，就能把现有子词模型改造为字节级模型，并逼近原系统能力。