你真的需要大模型吗?我用树莓派做了一次对照实验
来源:dev.to — 2026-10-13
📋 概述
作者花一个周末,把三个平时会毫不犹豫交给大模型的任务,交给两个小模型跑了一遍,其中一个任务还写了一条正则表达式作为对照。正则赢了:30 个测试用例全中,耗时零毫秒;更好的那个模型拿到 28 分,每次调用要五秒,而它漏掉的两例恰好是正则结构上不可能犯的错。他把「可靠完成任务所需的最小算力」分成四级台阶:确定性代码、小本地模型、更大的本地模型、远程前沿模型,而大多数项目直接从第四级起步,从不问前面三级。硬件是一台 4GB 内存的树莓派 4,模型是 Ollama 上的 smollm2:360m 与 qwen2.5:1.5b。他还坚持一条规则:在装 Ollama 之前先写下 22 条对工作流的预测,因为有了带时间戳的预期,才有一个明确的「做完了」的时刻。
🔑 核心要点
- 四级台阶是:确定性代码、小本地模型、更大的本地模型、远程前沿模型。
- 抽取订单号的 30 个用例中,正则 30/30 全中且零毫秒,qwen2.5:1.5b 是 28/30。
- 模型漏掉的两例都是正则结构上不可能犯的错,而不只是差两分。
- 其中一例是「ORD-111222 请退款」,模型自信地断言消息里没有订单号。
- 他要求在装 Ollama 之前先写下 22 条预测,只为让「做完了」有一个明确的时间点。
💡 金句
我想找的不是最便宜的模型,也不是最好的小模型,而是能可靠完成任务的最小算量。
👍 0
👎 0
← 返回 dev.to 首页