七块 ESP32-S3 拼出一个 1.58 比特大模型集群 — Hacker News 中文摘要
来源：github.com — 139 分 · by nkko
📋 概述
一个把 0.5B 参数模型切片跑在 7 块 ESP32-S3 上的分布式推理项目：主节点负责分词与嵌入，其余节点分跑注意力层与 MLP，节点之间用高速 SPI 菊花链通信，量化方案是 BitNet 的 1.58 比特三值权重。项目基于单节点量化部署与多节点分布式 AI 两个前作，采用 MIT 许可。评论区一边调侃它更像个「高级噪声发生器」，一边已经开始期待新一代 ESP32-S3 芯片。
🔑 核心要点
- 把一个 0.5B 参数模型切到 7 块 ESP32-S3 上跑。
- 主节点做分词与嵌入，其余节点分跑注意力与 MLP。
- 节点之间靠 高速 SPI 菊花链通信。
- 量化方案是 BitNet 的 1.58 比特三值权重。
- 代码与文档采用 MIT 许可，基于两个前作演进而来。
- 评论区既调侃它是「高级噪声发生器」，也认可这个大方向。
💡 金句
This project runs a sliced 0.5B LLM across a cluster of 7 ESP32s3.
👍 0
👎 0
← 返回 Hacker News 首页