TRPO算法原理和实现

原创

已于 2023-08-14 21:55:20 修改 · 754 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#算法 #python #机器学习 #开发语言 #深度学习 #人工智能

于 2023-08-14 20:30:00 首次发布

本文参考《深度强化学习》书籍和代码，介绍了置信域算法，包括近似和最大化步骤，推导了目标函数。详细阐述了TRPO算法，涉及目标函数、蒙特卡洛近似、折扣回报等内容，还给出了在置信域内寻找新参数的方法，最后提及代码实现。

参考：王树森《深度强化学习》书籍和代码

1、置信域算法

$N(θold).1.{\text{Approximation: Given }\mathbf{\theta}_{\mathrm{old}}\text{ construct}}{L(\mathbf{\theta}\mid\mathbf{\theta}_{\mathrm{old}})}\text{is an approximation to }J(\mathbf{\theta})\text{ in }\mathcal{N}(\mathbf{\theta}_{\mathrm{old}}).$

$by:2.\text{ Maximization: In the trust region, find }\mathbf{\theta}_{\mathrm{new}}\text{ by:}$

$\theta_{\mathrm{new}}\leftarrow\underset{\mathbf{\theta}\in\mathbb{N}(\mathbf{\theta}_{\mathrm{old}})}{\operatorname*{\operatorname{argmax}}}L(\mathbf{\theta}\mid\mathbf{\theta}_{\mathrm{old}}).$

注：做近似时，可以用二阶泰勒展开、蒙特卡洛近似等；在置信域求 $L$ 最大化时用什么方法都可以；

2、目标函数的推导

$agent.\text{Use policy network, }\pi(a|s;\mathbf{0}),\text{for controlling the agent.}$

$function:\text{State-value function:}$
$\begin{aligned}V_{\pi}(s)& =\sum_a\pi({a}\mid s;\mathbf{\theta})\cdot Q_\pi(s,{a}) \\&=\sum_{ {a}}\pi({a}\mid s;\mathbf{\theta}_{\mathrm{old}})\cdot\frac{\pi({a}\mid s;\mathbf{\theta})}{\pi({a}\mid s;\mathbf{\theta}_{\mathrm{old}})}\cdot Q_{\pi}({s},{a}) \\&={\mathbb{E}_{ {A}\sim\pi(\cdot|s;\mathbf{\theta}_{\mathrm{old}})}}[\frac{\pi({A}\mid s;\mathbf{\theta})}{\pi({A}\mid s;\mathbf{\theta}_{\mathrm{old}})}\cdot Q_\pi(s,{A})].\end{aligned}$
$function:\text{Objective function:}$
$\begin{aligned}J(\mathbf{\theta})& =\mathbb{E}_S[V_\pi(S)] \\&={\mathbb{E}_S\left[\mathbb{E}_A\left[\frac{\pi(A\mid S;\mathbf{\theta})}{\pi(A\mid S;\mathbf{\theta}_{\mathrm{old}})}\cdot Q_\pi(S,A)\right]\right]}\end{aligned}$