【强化学习】QAC、A2C、A3C学习笔记

强化学习算法：QAC vs A2C vs A3C

引言

经典的REINFORCE算法为我们提供了一种直接优化策略的方式，它通过梯度上升方法来寻找最优策略。然而，REINFORCE算法也有其局限性，采样效率低、高方差、收敛性差、难以处理高维离散空间。

为了克服这些限制，研究者们引入了Actor-Critic框架，它结合了价值函数和策略梯度方法的优点（适配连续动作空间和随机策略），旨在提升学习效率和稳定性。

QAC（Quality Actor-Critic）

实现原理

QAC算法通过结合Actor-Critic架构的优势，实现了策略和价值函数的有效融合。在此框架中，Actor基于策略梯度法选择动作，而Critic组件评估这些动作的价值，以指导Actor的策略更新。

由图可知，在Actor-Critic算法中，TD Error用于更新Critic的价值函数，也用来指导Actor的策略梯度更新。简单来说，如果TD Error较大，意味着当前策略对于该状态-动作对的价值预测不准确，需要更大的调整。

优势与局限

QAC的主要优势在于其将策略探索与价值评估相结合，旨在提升决策质量与学习速度。然而，由于依赖样本来更新策略，它可能会面临高方差问题，尤其是在样本数量较少或者环境噪声较大的情况下。 这要求在实际应用中进行适当的调整和优化，以实现最佳性能。