指数均值估计的方差爆炸：用最小二乘救场
来源：francisbach.com — 58 分 · by matt_d
📋 概述
Francis Bach 讨论机器学习中的一类常见任务：估计或优化 log-sum-exp 形式的函数，例如对某个概率分布下 e^v(x) 的积分取对数。它既出现在概率模型归一化里，也是最大值的光滑近似，在 transformer 的导数与强化学习的熵正则中都会用到。当积分无法精确计算时必须抽样，难点在于 v 取值较大时估计量的方差会爆炸：最简单的正态例子中相对平方误差是 (e^{σ²}-1)/n，n 增大时收敛，但随 σ 增长而指数级发散。文章的路子是用最小二乘来压制这种方差。
🔑 核心要点
- 任务形态是 log-sum-exp 类函数 的估计与优化，含连续化形式 log ∫ e^{v(x)} dq(x)。
- 应用面很广：概率模型归一化、最大值的光滑近似、transformer 导数、强化学习熵正则。
- 难点是 当 v 取值很大时估计量方差爆炸，这是抽样方法的核心障碍。
- 最小例子给出显式公式：相对平方误差等于 (e^{σ²}-1)/n，随 σ 指数增长。
- 结论方向是 用最小二乘换取更稳的估计，而不是继续依赖朴素抽样。
💡 金句
随样本数增大它会收敛到零，但当 σ 增长时，它会呈指数级爆炸。
👍 0
👎 0
← 返回 Hacker News 首页