IFM 发布 K2 Horizon：六个模型组成的全开放模型家族
来源：ifm.ai · 69 分
📋 概述
IFM 发布 K2 Horizon 模型家族，覆盖 0.9B 到 375B 六个规模，其中小模型在各自量级刷新 SOTA，36B-A4B 依靠新的 Mixture-of-Value-Attention 稀疏注意力架构在更少激活参数下逼近 32B 稠密模型的水平。所有模型均以 Apache 2.0 开源权重发布，并随附完整的预训练到 agentic 后训练全过程。
🔑 核心要点
- 0.9B、3.7B、7B 三款小模型在各自量级的推理、数学、代码与 agentic 评测中领先。
- 全新 MoVA 架构把专家路由引入注意力层，36B-A4B 每 token 仅激活约 40 亿参数。
- 最大型号 375B-A23B 总参数量 3750 亿、每 token 激活 230 亿，定位企业级高要求推理场景。
- 预训练语料约 20 万亿 token，其中近 17% 为含显式推理的解题轨迹。
- 随附 Uno 扩散蒸馏加速技术，可在不损质量的前提下并行生成 token、降低延迟。
💡 金句
K2 Horizon 不只是六个模型权重，更是一份用于理解、适配并推进下一代 AI 系统的开放蓝图。
👍 0
👎 0
← 返回 Hacker News 首页