强化学习06——随机近似和随机梯度下降

本篇博客内容源于课程《强化学习的数学原理》 赵世钰老师 西湖大学，旨在记录学习强化学习的过程。

Stochastic approximation (SA)是指一大类求根和优化问题的随机迭代算法，与许多其他求根算法相比，SA 的强大之处在于它无需知道目标函数的表达式或其导数。Robbins-Monro算法是SA领域的开创工作。

Robbins-Monro algorithm

假定我们想要找到如下等式的根：$$g(w)=0$$其中$g:\mathbb{R}\to \mathbb{R}$，$w\in \mathbb{R}$是要求解的变量。假如不知道$g$的函数表达式该怎么求解呢？例如$g$是由神经网络表示。
Robbins-Monro 算法可以解决这个问题：$$w_{k+1}=w_k-a_k\tilde{g}(w_k,{\eta }_k),k=1,2,\mathrm{3...}$$

• $w_k$是第k次对根的估计
• g ~ ( w k , η k ) = g ( w k ) + η k \tilde{g}(w_k,\eta_{k})=g(w_{k})+\eta_{k}