Hugging Face 在 2026 年 11 月 5 日发布《The Ultimate MoE Training Handbook》，一本交互式技术手册，覆盖模型架构、专家路由、负载均衡、分布式训练、GPU 通信、量化、推理，以及一路上各种翻车方式。作者感兴趣的不只是信息量，而是这些工程知识被公开到什么程度。手册里一个例子：6.86B 总参数的 MoE 每个 token 只激活 1.22B——但参数不激活并不等于不占显存，这是她在本地跑 MoE 最早撞上的墙。