自己动手做一个决策模型
来源:nishtahir.com — 2026-10-12
📋 概述
文章介绍“系统一”式决策模型:不生成完整文本,而是把输出限制在固定选项集合里,为每个候选做一次前向计算,取概率最高的那个。作者用 Qwen3-1.7B 演示如何对词表做 logits 掩码,只允许模型输出 A–E,从而一次 pass 就得到答案;相比之下,结构化输出要逐 token 生成,示例里需要 11 次前向。代价是未被额外训练时,这些 token 概率只是模型对下一个 token 的信心,而非答案正确的真实概率。
🔑 核心要点
- 常规结构化输出需逐 token 多轮前向(示例 11 次)
- 决策模型只做一次前向,直接比较选项概率
- 实现方式是对词表做 logits 掩码,只允许 A–E
- 输出被限制在固定选项内,仍不保证正确
- 未加训练时概率不等于真实置信度,需谨慎当作 confidence
💡 金句
"System one" decision models are models that infer and respond with calibrated probabilities or every allowed answer.
👍 0
👎 0
← 返回 Hacker News 首页