tostq的专栏

DDPG是基于Q-learning的，其由于是取最大可能性的某个确定动作，因此可能会带来Maxinum偏差（简单理解为由于预估分布的存在，所以最大值一般都会偏移期望值），这个问题可能通过double Q-learning进行解决。Twin Delayed DDPG又被称为TD3算法..由于DDPG只能产出确定性动作，因此Soft Actor Critic (SAC) 实现产出概率性动作决策stochastic policy，SAC算法相比于TD3主要有两点不同。

强化学习，Reinforcement Learning- An introduction，有限马尔可夫决策过程MDP，Bellman equation，Markov Decision Processes