1.6 万亿参数的国产多模态模型：训练全程跑在国产芯片上

🔑 核心要点

• 视觉用残差向量量化编码成多级离散 token，与语言共用骨干，避免外挂视觉编码器拖累并行效率。
• 代理 RL 用异步部分 rollout 加超采样，过滤掉全成功或全失败的无梯度组，保证有效梯度信号。
• 反奖励作弊靠禁用网络、抹掉 git 历史、用 LLM 裁判审计轨迹，并惩罚重复推理和重复调工具。
• 每张国产加速器显存不足 80GB，并行组按超节点拓扑对齐，FSDP 与 EP 度数等于单节点卡数。
• 离散图像 token 让模态比例在数据打包时就已知，可让各 DP rank 的模态负载保持均匀。

💡 金句