【学习ChatGPT】 3. PPO

原创

已于 2023-06-04 19:13:46 修改 · 288 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#学习 #chatgpt #人工智能

于 2023-05-28 22:50:06 首次发布

PolicyGradient是一种强化学习算法，目标是最大化预期奖励。它涉及actor、environment和policy的概念，其中policy由网络参数θ定义。通过梯度下降法优化θ以提高totalreward。PPO是PolicyGradient的一种变体，结合了on-policy和off-policy的学习方式，并引入KL散度惩罚来限制策略更新的幅度。

https://www.bilibili.com/video/BV1MW411w79n?p=2&vd_source=275b19d02ca629f220713e4de0936247

Policy Gradient - review

各种概念

三要素：
· actor
· environment - 不可控制
· reward - 不可控制

· policy $\pi$ is a network of param $\theta$ ,
input=state(可以理解为游戏的画面、现状），
output=可能的actor的概率分布

· episode = 一轮游戏，trajectory $\tau = s_1,a_1,s_2,a_2, ...,s_T, a_T$
· 一个episode的total reward: $\sum_{t=1}^T r_t$ , 一共T轮的reward总和； actor存在的意义就是maximize total reward
· expected reward: 穷举所有trajectory，算出total reward的均值