【李宏毅深度强化学习笔记】2、Proximal Policy Optimization算法(PPO)

【李宏毅深度强化学习笔记】1、策略梯度方法（Policy Gradient）

【李宏毅深度强化学习笔记】2、Proximal Policy Optimization (PPO) 算法（本文）

【李宏毅深度强化学习笔记】3、Q-learning（Basic Idea）

【李宏毅深度强化学习笔记】4、Q-learning更高阶的算法

【李宏毅深度强化学习笔记】5、Q-learning用于连续动作 (NAF算法)

【李宏毅深度强化学习笔记】6、Actor-Critic、A2C、A3C、Pathwise Derivative Policy Gradient

【李宏毅深度强化学习笔记】7、Sparse Reward

【李宏毅深度强化学习笔记】8、Imitation Learning

-------------------------------------------------------------------------------------------------------

【李宏毅深度强化学习】视频地址：https://www.bilibili.com/video/av63546968?p=2

课件地址：http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS18.html

-------------------------------------------------------------------------------------------------------

 

 

讲PPO前先铺垫一下On-policy和Off-policy的一点知识

所谓 on-policy （左图）指我们学习的 agent（即actor） 和与环境交互的 agent 是相同的，即 agent 一边和环境互动，一边学习；

而 off-policy （右图）指我们学习的 agent 与环境交互的 agent 是不同的，即 agent 通过看别人玩游戏来学习。

on-policy的过程是这样的：

1、使用actor  去收集数据，用这些数据来进行参数的更新，此时参数变为。

2、由于参数变为，原本actor 收集的数据就不能用了，所以要重新收集数据

3、再根据actor 收集的数据，将参数变为。

一直这样循环下去…………

On-policy的不足：

从上面的过程可以看出，更新后的actor  的参数变为，原来的数据就不能用了。就是说每更新一次参数就需要重新去收集数据，这样更新的效率很低，很花时间。

目标：

用