Waste 内存流式运行 Kimi K3
来源：github.com — sqliteai/waste · ⭐ 1,905 · C
📋 概述
Waste 是一个让 2.78 万亿参数的 Kimi K3 大模型在超出可用 RAM 的情况下依然能运行的推理项目。它通过把模型权重按需流式加载到内存、结合高效的缓存与调度策略，绕开「模型太大、内存装不下」的硬约束，让超大规模模型在受限设备上也能跑起来。对研究和部署而言，它展示了一种内存友好的大模型执行思路，与单 CPU 推理方案互补。
🔑 核心要点
- 突破内存限制：权重按需流式加载，模型再大也能在普通内存容量的机器上运行。
- 高效缓存与调度：精心设计的缓存与加载顺序，尽量减少重复读取、降低 I/O 开销。
- 超大规模模型平民化：让万亿参数模型不再被 GPU 显存和物理内存双重锁死。
- 本地离线推理：完全本地执行，适合对数据隐私和成本敏感的部署场景。
💡 金句
模型大不是障碍，只要懂得把该用的部分按时装进内存。
👍 0
👎 0
← 返回 GitHub Trending 首页