多人强化学习

一些basis

Gradient

Counterfactual multi-agent policy gradients

这里有个后面流传很广的算法：COMA(counterfactual multu-agent)
文中有提到最简单的policy gradient的形式是Reinforce，公式如下：
∇_θ J(θ) = E_τ~πθ [∑_t=0^T ∇_θ log π_θ(a_t | s_t) G_t ]

• ∇_θ J(θ): 这是 objective function J(θ) 对 policy 参数 θ 的 gradient。 Objective function 通常就是 expected cumulative discounted reward，说白了就是agent期望获得的总回报。
• E_τ~πθ: 这是对 trajectories τ 的 expectation，这些 trajectories 是根据 policy π_θ sample