下一概念建模：从粗到细的并行文本生成
来源：arxiv.org — 2026-10-09
📋 概述
斯坦福等机构提出 Next-Concept Modeling（NCM）：先用多尺度残差 VQ-VAE 把文本编码成层级离散码，再让模型一级一级生成、每级内部并行预测所有码，从而在粗粒度上先定结构、细粒度上补细节。相同参数规模下，它比最强扩散语言模型在 LM1B 上困惑度更好且快 21 倍，OpenWebText 快 10 倍，XSum 的 ROUGE-L 持平且快 31 倍。
🔑 核心要点
- 针对扩散语言模型的三个痛点：步数一少质量就崩、每步都要处理整段序列、需要多轮过数据。
- 数独推理任务上，NCM 在所有难度上超过自回归与扩散基线，且函数评估次数更少。
- 作者阵容包括 Christopher Ré 与 Azalia Mirhoseini，属于少步数采样的老问题。
- 核心取舍是层内并行、层间串行：粗到细的分层让并行不牺牲一致性。
💡 金句
NCM achieves better generative perplexity than the strongest DLM baseline on LM1B while running 21× faster.
👍 0
👎 0
← 返回 Hacker News 首页