Cerebras 怎么用 59 片晶圆跑起 3 万亿参数的 Kimi K3
来源：www.cerebras.ai — 2026-10-26
📋 概述
Cerebras 拆解了在晶圆级芯片上部署万亿参数模型的方法。单片 WSE-3T 只有 44 GB 片上内存，而万亿参数模型的权重就需要数 TB，所以必须把模型切到多片晶圆上做流水线。以 3 万亿参数、69 层线性注意力加 24 层稠密层的 Kimi K3 为例，4 bit 量化后每层约 16 GB；稠密层要额外留出 KV cache 空间所以一片只放一层，线性注意力层因为只需固定大小状态可以一片放两层，最终是 35 加 24 共 59 片。
🔑 核心要点
- 线性注意力层不需要随上下文增长的 KV cache，这是「一片两层」的关键，直接决定了总片数。
- 晶圆间只传激活值，用 RDMA over Ethernet，单跳约 2 微秒，比传权重便宜得多。
- Cerebras 给出的吞吐是每秒 1000 到 2000+ token，量级上把「等模型回复」变成接近实时。
- Kimi K3 在 Terminal-Bench 2.1 上 88.3%、BrowseComp 上 91.2%，接近当时最强的闭源模型。
💡 金句
A single Cerebras WSE-3T wafer has 44 GB of on-chip memory, and trillion-parameter frontier models need terabytes for their weights alone.
👍 0
👎 0
← 返回 Hacker News 首页