OpenAI 决策 API 需要一个可信的置信度
来源:anth.us — 28 分 · by AnthusAI
📋 概述
作者检视 OpenAI 决策 API 的预览表现,质疑它给出的置信度是否可信。示例中模型输出 unknown 时,该 token 的 logprob 仅约 -0.00182,几乎等于概率 1.0,其余 token 更是 0.0,等于宣称绝对确定。作者担心这种过度自信会让依赖它做路由或升级判断的系统失去可靠依据。
🔑 核心要点
- 作者的担忧是:决策 API 给出的置信度不可信。
- 示例中输出 unknown 时 logprob 仅约 -0.00182,几乎等于概率 1.0。
- 同一次输出里其他 token 的 logprob 全是 0.0,等于宣称绝对确定。
- 这种过度自信会让路由、升级与人工介入的阈值失去依据。
- 核心结论是决策 API 需要诚实地表达不确定。
💡 金句
Luna 能告诉你它有多确定吗?
👍 0
👎 0
← 返回 Hacker News 首页