让 LLM 给自己的答案打置信度，是个坏主意 — Hacker News 中文摘要
来源：rumple.github.io — 176 分 · HN #50176082
📋 概述
不少智能体设计者会让模型顺带输出一个概率或置信度，但作者认为这个数字没有任何可信的理由。文章先厘清"置信度"意味着什么：预报员说"明天下雨我有七成把握"，这个数字来自他掌握的关于明天的信息，加上过往校准出来的经验。LLM 的输出不是从这种信息加校准的结构里长出来的，所以把它的自评当成概率，本质上是把语言生成误当成了概率估计。
🔑 核心要点
- 核心论点：没有理由相信 LLM 自报的那个数字。
- 置信度必须来自可用信息加经验校准，而模型的生成机制不提供这种结构。
- 实践中大量 agent 仍把模型自评当成路由器或升级触发器，风险被悄悄放大。
- 作者的指向是外部化校准：验证、多采样一致性、可检验判据，而不是问模型"你多确定"。
💡 金句
The problem is that there is no good reason to trust that number.
👍 0
👎 0
← 返回 Hacker News 首页