策略算法与Actor-Critic网络

策略算法

教程链接

DataWhale强化学习课程JoyRL

https://johnjim0816.com/joyrl-book/#/ch7/main

策略梯度

与前面的基于价值的算法不同，这类算法直接对策略本身进行近似优化。

在这种情况下，我们可以将策略描述成一个带有参数$\theta$的连续函数，该函数将某个状态作为输入，输出的不再是某个确定性的离散动作，而是对应的动作概率分布，通常用${\pi }_{\theta }(a|s)$ 表示，称作随机性策略。

价值算法缺点

• 无法表示连续动作

由于 DQN 等算法是通过学习状态和动作的价值函数来间接指导策略的，因此它们只能处理离散动作空间的问题，无法表示连续动作空间的问题

• 高方差

基于价值的方法通常都是通过采样的方式来估计价值函数，这样会导致估计的方差很高，从而影响算法的收敛性。尽管一些 DQN 改进算法，通过改善经验回放、目标网络等方式，可以在一定程度上减小方差，但是这些方法并不能完全解决这个问题。

• 探索与利用的平衡问题

DQN 等算法在实现时通常选择贪心的确定性策略，而很多问题的最优策略是随机策略，即需要以不同的概率选择不同的动作。虽然可以通过$ϵ\text{-greedy}$ 策略等方式来实现一定程度的随机策略，但是实际上这种方式并不是很理想，因为它并不能很好地平衡探索与利用的关系。

策略梯度算法

特点: 直接对策略进行优化算法，但是优化目标与基于价值一样，都是累积的价值期望$V^{\ast }(s)$

轨迹产生的概率：

$$\begin{array}{rl}{P}_{\theta }(\tau )& =p(s_0){\pi }_{\theta }(a_0|s_0)p(s_1|s_0,a_0){\pi }_{\theta }(a_1|s_1)p(s_2|s_1,a_1)\cdots \\ & =p(s_0)\prod _{t=0}^T{\pi }_{\theta }\left(a_t|s_t\right)p\left(s_{t+1}|s_t,a_t\right)\end{array}\text{\hspace{1em}(9.2)}$$

基于全期望公式得到价值的期望公式

J ( π θ ) = E τ ∼ π θ [ R ( τ ) ] = P θ ( τ 1 ) R ( τ 1 ) + P θ ( τ 2 ) R ( τ 2 ) + ⋯ = ∫ τ P θ ( τ ) R ( τ ) = E τ ∼ P θ