汤普森采样：为什么随机探索打得过贪心

📋 概述

三个标题里有一个转化最好，但你不知道是哪个：每个送去次优标题的访客都是丢掉的转化，每个送去没测够的标题的访客都是错过学习。这就是探索与利用的两难。贪心做法是先各试几次、选当前赢家、再不回头，可它把估计当成了真相——B 只试过两次一胜，A 试过十次六胜，B 完全可能更好，但算法再也不会去验证，这叫过早收敛。ε-greedy 保住了学习，却探索得很盲目，而且探索率是事先定死的，不会随不确定性收缩。汤普森采样（1933 年提出）维护每个臂的后验分布，每轮从各臂后验里各采一个样本、选样本值最大的那个、只在选中的臂上更新——探索从采样步骤里自然涌现，不确定的臂后验宽、采样波动大，就会时不时赢一次。