1.5B 模型是分诊信号,不是判决
来源:dev.to — 2026-10-24
📋 概述
作者夜里跑的审计工具先做五条确定性检查,再把每条发现连同六行上下文交给本地模型,只问一个是非题:这里确实成立吗。模型是 Qwen2.5-Coder-1.5B-Instruct Q4_K_M,llama.cpp 在笔记本 CPU 上跑,不出机器、不要 API key。四个检查约 48 到 50 秒,平均每题十二秒,这个延迟直接决定了设计:不能放进逐文件循环,也不能藏在保存按钮后面,只能夜间跑或等咖啡时跑,然后读一份已经排好序的报告。他也不让模型「四处看看说说哪里不对」——十二秒换一段话不值,他要的是一个指针。早期让它总结文件的版本语言流畅却把哪个函数干了什么说错,读起来比不读还贵。
🔑 核心要点
- 每题十二秒的延迟决定了它只能夜间后台跑,进不了交互循环
- 模型只看发现行加五行上下文,只答 YES、NO 或 UNSURE
- 不让模型总结文件:流畅但指错函数,验证成本高过收益
- 位置来自静态检查,模型只负责确认或否认,分工不越界
- 全程本地 CPU 推理,代码不出机器、不需要 API key
💡 金句
“A checker that points at line 9 and a model that confirms or denies a claim about line 9 is a pipeline.”
译:一个指到第 9 行的检查器,配一个只确认或否认第 9 行某个论断的模型,这才是一条流水线。
← 返回 dev.to 首页