Kolibri 落地：一个主权的开放权重模型
来源：aleph-alpha.com — 215 分 · by bastitx
📋 概述
在德国统一日这天，Aleph Alpha 发布 Kolibri：一个英德双语混合专家 Transformer，总参数 780 亿、激活 30 亿，支持最长 100 万 token 的上下文，以 Apache 2.0 许可开源全部权重。它是模型训练流水线持续迭代的产物——团队先用 Kolibri Origin（300 亿总参、30 亿激活、65k 上下文）验证流水线，再推进到 Kolibri，期间完成数百次消融实验，预训练过程稳定到无需人工介入。
🔑 核心要点
- 英德双语 MoE Transformer，780 亿总参、30 亿激活。
- 上下文窗口最长 100 万 token，权重以 Apache 2.0 开放。
- 发布日期选在德国统一日，主打主权与关键任务场景。
- 先以 Kolibri Origin（300 亿总参 / 65k 上下文）验证训练流水线。
- 预训练稳定运行、无需人工介入，支撑了数百次消融实验。
💡 金句
Kolibri 是我们的模型训练工作持续迭代的结果。
👍 0
👎 0
← 返回 Hacker News 首页