【动手学强化学习】02多臂老虎机

问题定义

强化学习关注的是在于环境交互中学习，是一种试错学习的范式。在正式进入强化学习之前，我们先来了解多臂老虎机问题。该问题也被看作简化版的强化学习，帮助我们更快地过度到强化学习阶段。

有一个拥有 $K$ 根拉杆的老虎机，拉动每根拉杆都有着对应奖励 $R$，且这些奖励可以进行累加。在各根拉杆的奖励分布未知的情况下，从头开始尝试，在进行 $T$ 步操作次数后，得到尽可能高的累计奖励。

对于每个动作 $a$，我们定义其期望奖励是 $Q(a)$。是，至少存在一根拉杆，它的期望奖励不小于拉动其他任意一根拉杆，我们将该最优期望奖励表示为
$$Q^{\ast }=\underset{a\in A}{\max }Q(a)$$
为了更为直观的表示实际累计奖励和真实累计奖励之间的误差，我们引入懊悔概念，用来表示它们之间的差值。
$$R(a)=Q^{\ast }-Q(a)$$

下面我们编写代码来实现一个拉杆数为 10 的多臂老虎机。其中拉动每根拉杆的奖励服从伯努利分布（Bernoulli distribution），即每次拉下拉杆有的概率获得的奖励为 1，有的概率获得的奖励为 0。奖励为 1 代表获奖，奖励为 0 代表没有获奖。

import numpy as np
import matplotlib.pyplot as plt
class BernouliiBandit:
    def __init__(self, K):
        self.probs:np.ndarray = np.random.uniform(size=K)  # type: ignore # 随机生成K个0～1的数,作为拉动每根拉杆的获奖 #
        # 概率
        self.best_idx = np.argmax(self.probs)  # 获奖概率最大的拉杆
        self.best_prob = self.probs[self.best_idx]  # 最大的获奖概率
        self.K = K
    def step(self, k