19、策略梯度估计方法解析

策略梯度估计方法解析

1. 引言

在许多应用中，通过优化策略参数来最大化预期效用是一个重要的问题。利用效用关于策略参数的梯度来指导优化过程往往是很有用的。然而，由于环境和探索的随机性，轨迹的随机性会导致梯度估计的方差较大，这是一个主要挑战。接下来将介绍几种从轨迹展开中估计梯度的方法。

2. 有限差分法

有限差分法通过函数评估的微小变化来估计函数的梯度。
- 单变量函数导数近似 ：对于单变量函数 (f(x))，其导数定义为 (\frac{df}{dx}(x) = \lim_{\delta \to 0} \frac{f(x + \delta) - f(x)}{\delta})，当 (\delta) 足够小时，可以近似为 (\frac{df}{dx}(x) \approx \frac{f(x + \delta) - f(x)}{\delta})。
- 多变量函数梯度估计 ：对于输入长度为 (n) 的多变量函数 (f)，其梯度为 (\nabla f(x) = [\frac{\partial f}{\partial x_1}(x), \cdots, \frac{\partial f}{\partial x_n}(x)])。在策略优化中，我们要估计由 (\theta) 参数化的策略的预期效用梯度 (\nabla U(\theta) = [\frac{\partial U}{\partial \theta_1}(\theta), \cdots, \frac{\partial U}{\partial \theta_n}(\theta)] \approx [\frac{U(\theta + \del