在普通电脑上跑 Gemma 4：Unsloth vs LM Studio vs llama.cpp vs Ollama 实测
来源：dev.to — 2026-06
📋 概述
网上本地 AI 的讨论总带着“我跑了 70B 双 GPU 工作站”的优越感，而作者手里只有 Intel i5、16GB 内存、核显、无独立 GPU。他实测了四款常被当作竞品的工具后发现：它们根本不是对手，而是流水线的不同环节——模型微调交给 Unsloth、推理引擎用 llama.cpp、服务层用 Ollama、桌面 UI 用 LM Studio，彼此叠加而非互相取代。最小 Gemma 4 模型 Q4 量化只需约 4GB 内存，最大约 20GB，在 16GB 机器上量化和引擎选择决定成败。
🔑 核心要点
- 四款工具不是竞品而是流水线：微调→Unsloth、引擎→llama.cpp、服务→Ollama、UI→LM Studio
- LM Studio 与 Ollama 底层都用 llama.cpp，初学者从 LM Studio 入手门槛最低
- 最小 Gemma 4 Q4 约 4GB 内存，最大约 20GB，16GB 机器要靠量化省出余量
- CPU 上微调仍慢，作者建议在 Colab 的 T4 上训练再导出 GGUF 本地跑
💡 金句
They fit together more like a pipeline than competing products.
👍 0
👎 0
← 返回 Dev.to 首页