百度放出 ERNIE 5.5 Flash Base：2800 亿参数的稀疏基座

📋 概述

ERNIE-5.5-Flash-Base 是一个稀疏 MoE 语言模型，总参数 2800 亿，每 token 激活 140 亿，从零预训练，用了 33.5 万亿 token，训练上下文最长 128K，微调与推理可支持 100 万 token 上下文。放出的是预训练结束、尚未做中期与后训练的检查点，定位是给领域适配、指令微调与强化学习研究一个公共起点。整份技术说明的重心是效率：后续训练会反复采样，智能体应用又带来多轮交互与长上下文，成本会叠加，所以注意力、残差连接、MoE 层与输出头都重新权衡了激活算力、KV 缓存与长上下文开销，而不是单项优化。语料也据此选择：侧重仓库级代码与长上下文理解这类后期难以补上的能力。