Kimi K3.1 Pro 开源权重放出：2.8 万亿参数、百万上下文

📋 概述

月之暗面把 Kimi K3.1 Pro 的权重放上了 Hugging Face。它是 K3 的后训练版本，走大规模联合强化学习，覆盖数百个下游领域，官方称这是 K3.1 系列的第一个模型，也是最强的 3T 级模型。规格上：MoE 架构，总参数 2.8 万亿，每 token 激活 104B，93 层，896 个专家里选 16 个加 2 个共享专家，上下文 1,048,576 token，视觉编码器 MoonViT-V2（4 亿参数），权重用 MXFP4、激活用 MXFP8，并且是量化感知训练出来的。相比 K3，它把全注意力的 Gated MLA 层换成了 Gated DeepSeek 稀疏注意力，长上下文更省。基准表里 Terminal-Bench 4.0 是 65.7，BrowseComp 92.1，HLE-Full 带工具 70.0。