18、强化学习：原理、算法与应用

强化学习：原理、算法与应用

1. 强化学习概述

在传统的监督学习中，我们通常假定每个输入模式都有已知的正确“目标”输出值。然而，在某些情况下，可用的信息并不那么详细。极端情况下，我们可能仅获得一个比特的信息，用于判断输出是正确还是错误。强化学习正是适用于这种极端情况的一种监督学习形式。

强化学习中，网络会从环境中获得反馈，但这种反馈（单一的是/否强化信号）仅具有评价性，而不具备指导性。因此，强化学习有时也被称为“带评判者的学习”，以区别于“带教师的学习”。

由于强化信号在指出某个输出错误时，并不会提示正确答案是什么，从成本函数的角度来看，也没有梯度信息。所以，在强化学习网络中引入随机性来源至关重要，这样才能探索可能的输出空间，直至找到正确的值。通常，我们会使用随机单元来实现这一点。

在强化学习问题中，我们常常会明确地考虑一个在环境中运行的网络。环境为网络提供输入，接收其输出，并给出强化信号。根据环境的性质，强化学习问题可分为以下几类：
- I类问题 ：在最简单的情况下，给定的输入 - 输出对对应的强化信号始终相同。这意味着网络必须学习一个确定的输入 - 输出映射，如果一个输入有多个正确输出，则学习其中之一。而且，环境会随机或按照固定的时间表选择输入模式，而不考虑先前的输出。这种情况与我们在其他监督学习示例中所熟悉的情况类似。
- II类问题 ：常见的扩展是随机环境。在这种环境中，特定的输入 - 输出对仅决定正强化的概率。不过，对于每个输入 - 输出对，这个概率是固定的，并且输入序列也不依赖于过去的历史。这类问题在动物学习建模、经济系统和一些简单游戏中经常出现。即使在