基础模型工程：从理论到生产的在线手册
来源：sungeuns.github.io — sungeuns.github.io · 28 分 · by sungeuns
📋 概述
这是一本持续更新、接受 PR 的在线手册，把基础模型从理论到工程实践串成十余章体系：从符号主义与连接主义的路线之争讲起，进入 Transformer 自注意力数学、MoE 稀疏架构与专家并行、预训练数据工程与训练稳定性、ZeRO 与流水线并行、FlashAttention 1/2/3，再延伸到缩放规律、SFT 与 RLHF/DPO 对齐、多模态、KV Cache 与 PagedAttention 推理优化、量化压缩、RAG 以及评测与部署。
🔑 核心要点
- 架构线覆盖从自注意力数学到 MoE 路由。
- 训练线讲 ZeRO、模型并行与 FlashAttention。
- 缩放规律部分强调 Chinchilla 计算最优点。
- 对齐部分涵盖 SFT、PPO、DPO、KTO。
- 推理侧讲 PagedAttention、投机解码与 PTQ/QAT。
💡 金句
目标是让它长期作为一份有用的资源，而不是一份冻结的快照。
👍 0
👎 0
← 返回 Hacker News 首页