强化学习（二）：价值函数

本文章收录在黑鲸智能系统知识库-黑鲸智能系统知识库成立于2021年，致力于建立一个完整的智能系统知识库体系。我们的工作：收集和整理世界范围内的学习资源，系统地建立一个内容全面、结构合理的知识库。

作者博客：途中的树

书接上回强化学习（一）: Agent - Environment框架

强化学习中需要通过评估行为的价值来生成政策$\pi$,行为$a$ 的价值可以用$Q(a)$来表示。

行为价值如何评估

• 行为价值方法可以对每个$a$设置一个值
• 评估来自环境的反馈，可以揭示出与情况$s$和基本策略$\pi$相关的各自的行动$a$到底有多大的 “价值”
• 事实上$Q(a)=Q(s,a)=Q_{\pi }(s,a)$,但是为了简化，暂时省略$Q(a)$的$s,\pi$

样本平均法 Sample average method

• 估算$Q_t(a)$的一个自然方法是通过对选择行动$a$时实际得到的奖励$r_k$进行平均化。这就是——样本平均法 sample-average method. 就是同一个动作多做几次，记录每次获得的奖励，求平均值

  • $Q_t(a)=\frac{r_1+r_2+r_3+...+r_{k_a}}{k_a}$ , $li{m}_{k_a\to \infty }{Q}_t(a)=Q^{\ast }(a)$

  • 每当采取一个行动时，将$k$递增到$k+1$，希望$Q(a)$能收敛到真正的$Q^{\ast }(a)$。

    • $Q_t(a)=\frac{r_1+r_2+r_3+...+r_{k_a}+r_{k_a+1}}{k_a+1}$

    • 确定行动价值函数$Q(a)$的增量函数

      $$\begin{array}{rl}{Q}_t(a)& =\frac{r_1+r_2+r_3+...+r_{k_a}+r_{k_a+1}}{k_a+1}\\ & =\frac{1}{k+1}\sum _{i=1}^{k+1}{r}_i\\ & =\frac{1}{k+1}(r_{k+1}+\sum _{i=1}^k{r}_i)\\ & =\frac{1}{k+1}(r_{k+1}+k{Q}_k+Q_k-Q_k)\\ & =Q_k+<\end{array}$$