wurobb的博客

强化学习原理python篇08——actor-critic前置知识TD ErrorREINFORCEQACAdvantage actor-critic (A2C)torch实现步骤第一步第二步第三步训练结果Ref本章全篇参考赵世钰老师的教材 Mathmatical-Foundation-of-Reinforcemen

本章全篇参考赵世钰老师的教材 [Mathmatical-Foundation-of-Reinforcement-Learning]Policy Gradient Methods 章节，请各位结合阅读，本合集只专注于数学概念的代码实现。

在第2次迭代，正确的值被赋给了Q(s2, a)，但是Q(s1, a)的更新还是不对的。假设在训练开始时，顺序地完成前面的更新，前两个更新是没有用的，因为当前Q(s2, a)和Q(s2, a)是不对的，并且只包含初始的随机值。但是在论文中，作者提出一个非常巧妙的解决方案，就是从神经网络的Q表达式中减去优势值的平均值，它有效地将优势值的平均值趋于0。该论文的核心发现是，神经网络所试图逼近的Q值Q(s, a)可以被分成两个量：状态的价值V(s)，以及这个状态下的动作优势A(s, a)。不需要影响其他部分的实现。

本章全篇参考赵世钰老师的教材 Mathmatical-Foundation-of-Reinforcement-Learning Deep Q-learning 章节，请各位结合阅读，本合集只专注于数学概念的代码实现。

本章全篇参考赵世钰老师的教材 Mathmatical-Foundation-of-Reinforcement-Learning Deep Q-learning 章节，请各位结合阅读，本合集只专注于数学概念的代码实现。

写一个模拟该实验的类，用坐标（0，1）代表s1，（1，1）代表s2，（0，0）代表s3，（1，0）代表s4。则对于左上角的状态s1，重复模拟实验，获得1000次discount reward。则最大的action_value对应的action为2，则选择向下走。

本章全篇参考赵世钰老师的教材 [Mathmatical-Foundation-of-Reinforcement-Learning] ，请各位结合阅读，本合集只专注于数学概念的代码实现。

本章全篇参考赵世钰老师的教材 [Mathmatical-Foundation-of-Reinforcement-Learning] ，请各位结合阅读，本合集只专注于数学概念的代码实现。

本章全篇参考赵世钰老师的教材 [Mathmatical-Foundation-of-Reinforcement-Learning] State Values and Bellman Equation章节，请各位结合阅读，本合集只专注于数学概念的代码实现。

本章全篇参考赵世钰老师的教材 [Mathmatical-Foundation-of-Reinforcement-Learning] Basic Concepts章节，请各位结合阅读，本合集只专注于数学概念的代码实现。