【动手学强化学习】01初探强化学习

什么是强化学习

强化学习是机器通过与环境交互来实现目标的计算方法。智能体与环境的交互方式如图所示，在每一轮交互中，智能体根据感知状态经过自身计算给出本轮动作，将其作用于环境；环境得到智能体动作后，产生相应的即时奖励信号并发生相应的状态转移。智能体则在下一轮交互中感知到新的环境状态，以此类推。

如果问题可以建模成一个强化学习问题，有三要素不可缺少：

• 环境：与有监督学习不同，强化学习中的环境是动态的随机过程，受当前环境状态及智能体决策动作影响。
• 目标：即决策目标，智能体与环境进行交互时，环境会产生相应的奖励信号。这个奖励信号一般是诠释当前状态或动作的好坏的及时反馈信号。
• 数据：在智能体与环境交互过程中，我们实际优化的是数据分布，即占用度量。由于奖励建立在状态动作对之上，一个策略对应的价值就是一个占用度量下对于的奖励期望，因此寻找最优策略实际上是寻找最优占用度量。

强化学习解决的问题

强化学习处理的任务是序贯决策任务。决策和预测不同，决策需要为未来所发生的事负责，当下最优解可能不是全局最优解，也就是说当下动作会影响未来状态；而预测仅是根据数据以期望得到和输出一样的结果，并不会影响环境状态。

强化学习的独特性

对于一般的监督学习来说，我们的目标是找到一个最优的模型函数，使其最小化损失函数。
$$OptimalModel=\underset{Model}{\mathrm{argmin}}Loss(y,\hat{y})$$
相比之下，强化学习任务的最终优化目标是最大化智能体策略在和动态环境交互过程中的价值。
$$OptimalPolicy=\underset{Policy}{\mathrm{argmax}}Reward(S,A)$$

可以发现一般的有监督学习关注寻找一个模型，使其在给定数据分布下得到的损失函数的期望最小；而强化学习关注寻找一个最优策略，使其在于动态环境交互后产生最优数据分布。