9、不情愿强化学习：应对动态环境的新算法

不情愿强化学习：应对动态环境的新算法

1. 引言

强化学习（RL）受行为心理学启发，是人工智能的一个领域。就像孩子通过试错学习控制手臂和腿部动作一样，RL 旨在让智能体通过与环境交互并利用反馈来学习。然而，现实世界的问题通常具有大或无限的状态和动作空间，以及非静态的环境，这使得无监督学习过程需要大量的训练周期、海量的数据，并且在许多应用中根本无法收敛。

为了解决这些问题，本文提出了一种名为“不情愿学习”（Reluctant Learning）的新算法，用于多层感知器（MLP）学习系统。该算法通过对各种缓存机制的实验而得出，令人惊讶的是，它可以用人的行为来解释。MLP 仅在负奖励超过阈值时才开始学习，并且不是从最新的事件中学习，而是从最近最令人惊讶的事件中学习。

2. 学习场景

计算机游戏模拟可以提供大的状态/动作空间，以及连续的无监督动作和奖励。作为第一个例子，我们让算法学习驾驶汽车，仅从一些简单的视觉传感器（5×5 像素摄像头）中学习。

2.1 传感器与奖励机制

学习系统并不知道 25 像素摄像头图像的配置或颜色。更多的摄像头会带来更多的数据和输入。汽车的传感器包括 27 个摄像头和 4 个车轮，共 31 个传感器。

汽车因保持在道路上而获得奖励。在这个例子中，道路是灰色的，如果摄像头中的所有像素都是灰色，则得分为 1；蓝色（水）得分为 0；其他颜色（越野）得分为 0.3。奖励值由四个部分组成：车轮传感器、近距离摄像头、远距离摄像头和当前速度。

2.2 动作与速度控制

汽车有三种可能的动作：直行、左转和右转。这些动作会根据速度、车轮方向和路面状况影