Thompson Sampling(汤普森采样)

1.power socket problem

一个robot快没电了，Robot 进入了一个包含 5 个不同电源插座的充电室。这些插座中的每一个都会返回略有不同的电荷量，我们希望在最短的时间内让 Baby Robot 充满电，所以我们需要找到最好的插座，然后使用它直到充电完成。

作为介绍，为了让事情更容易处理，让我们简化power socket problem问题。现在，当一个随机变量只有两种可能的结果时，它的行为可以用伯努利分布来描述。用每个socket能充电或不能充电来代替返回会变化数额的电荷。奖励只有两个可能的值：充电时 为1，不充电时为0.当一个随机变量只有两个可能结果时，它的行为可以用伯努利分布来描述。

所以现在，不是每个socket的电荷量不同，而是socket能充电的概率因每个socket而异。我们想找到最大概率能充电的socket，而不是提供最多电荷的socket.

如前所述， Thompson Sampling 生成奖励概率模型. 在这种情况下，得到的奖励是二元的 (win or lose, yes or no, charge or no charge)

beta分布接受两个参数，α(alpha) 和 β (beta). 用最简单的话说这些参数可以分别被认为是成功和失败的计数。

此外, Beta 分布的平均值由下式给出：
[站外图片上传中…(image-40657e-1628079709949)]

最初我们不知道任何给定的socket产生输出的概率是多少，所以我们可以首先将 ‘α’ 和 ‘β’ 都设置为 1，这会产生一条平坦的线 均匀分布（显示为平坦的红色线在图中：
[站外图片上传中…(image-adebf4-1628079709949)]

这种对socket产生输出概率的初始猜测称为 [先验概率]

一旦我们测试了一个socket并获得了奖励，我们就可以修改我们对该socket返回一些电荷的可能性的看法。在收集到一些证据后，这个新概率被称为 [