一个深度旋钮调出整个系列：一百美元复现 GPT-2 能力
来源：GitHub — 2026-11-03 · ⭐ 59,731 stars · Python
📋 概述
nanochat 是 Karpathy 写的极简 LLM 训练挂架，目标是在单台 GPU 节点上把分词、预训练、微调、评测、推理全流程跑通，代码量刻意压到可读可改。2019 年要四万三千美元才能训出的 GPT-2 能力，现在约四十八美元、两小时八卡 H100 就能复现，用竞价实例甚至接近十五美元；整套超参数由一个复杂度旋钮 --depth 决定，其余自动按最优配比算出。
🔑 核心要点
- 一个旋钮控制整个模型系列：改 --depth 层数，宽度、头数、学习率、训练长度、权重衰减自动重算。
- 成本对比具体到钱：GPT-2 能力从四万三千美元降到约四十八美元，竞价实例约十五美元。
- 覆盖 LLM 全流程：分词、预训练、微调、评测、推理都在一个仓库内，不在关键处留黑盒。
- 单 GPU 节点即可跑完，把“训一次模型”的门槛压到个人可承受。
- 代码极简可改：定位是实验挂架，让人能真正改动而不是只调用。
💡 金句
nanochat is the simplest experimental harness for training LLMs.
👍 0
👎 0
← 返回 GitHub Trending 首页