闪光的不都是 Softmax:为什么大模型只能把一半的伤疤烙进权重
来源:dev.to — 2026-11-01
📋 概述
作者用一个漂亮的类比回答质疑:他用 AI 不是把思考外包给随机鹦鹉,而是把打字外包出去,就像《异形》里的动力装载机——机械只是把操作者的神经信号放大一百倍,方向盘始终在人手里。支撑这个判断的是他公开的工程数据:246 张生产工单(142 张开源框架、104 张企业工业场景)与 600 条被编码成规则的「合成伤疤」,让已经踩过的失败模式重复发生率为 0.0%,自主首轮验证率 68.3%。接着他把这套方法追到神经科学与语言学:权重是人类思维的化石,无伤疤的模型就是达马西奥笔下失去躯体标记的病人,而「不要用 X」这种否定式提示反而把禁止的语法加载进 KV 缓存,抬高了下一次注意力的相似度。
🔑 核心要点
- 把 AI 当动力外骨骼而不是大脑:人的判断在高位,机器只放大执行动作,并用安全联锁限制它不能压死驾驶员。
- 伤疤必须变成可执行规则:他说的是 600 条被编码的不变量:每条对应一个真实踩坑,靠检查而非记忆阻止复发。
- 否定式提示会把坏例子放大:写「DO NOT use .asData?.value」等于把这段代码送进 KV 缓存,提高它在注意力里的权重。
- 半条伤疤的边界不在模型:能烙进权重的只有模型见过的失败;组织流程、权限与工具边界这类伤疤必须留在模型之外。
💡 金句
I didn't outsource the thinking—I outsourced the typing. It's my thoughts. Always.
译:我没有把思考外包出去,我外包的是打字。想法始终是我的。
👍 0
👎 0
← 返回 dev.to 首页