机器学习27：增强式学习（Deep Reinforcement Learn）②

摘要

        本次学习聚焦于RL的基本机制、与监督学习的区别、动作评估方法的演进，以及策略梯度（Policy Gradient）算法的核心原理。通过逐步引入不同版本的训练方法，澄清常见误区，并结合游戏示例和算法演示，系统讲解了如何让代理（Actor）通过与环境互动学习最优策略

Abstract

        This learning session focuses on the fundamental mechanisms of RL, its distinctions from supervised learning, the evolution of action assessment methods, and the core principles of the Policy Gradient algorithm. By gradually introducing different versions of training methods, common misconceptions are clarified. The session systematically explains how to enable agents (actors) to learn optimal strategies through interaction with the environment, incorporating game examples and algorithm demonstrations.

一．问题回顾

        接到上周学习，代理避免某些动作（如不频繁开火），一种方式就如前面“太空侵略者”游戏的例子，太空飞船有左右移动以及开火的三个行动，若想什么事都不做的的话，这个就要在原来三个动作上再定义一个“Do Nothing”的动作。另一种方式是为不同动作赋予分数，然后通过采样选择动作，概率与分数正相关。这样可以柔和控制动作偏好，而非硬性禁止。

二．A的定义

        下面我们开始回答上节课最后的问题如何定义A。

        1.Version 0：初始错误方法