08MARL深度强化学习 independent learning

---

前言

记录independent learning算法的基础概念，使用一些RL算法训练多智能体

---

1、Independent Value-based Learning

基于值的独立学习算法：每个智能体根据自身的观测与动作学习价值函数，以IDQN为例，每个智能体根据自身的观测历史学习Q函数，智能体i的损失函数为：

总的损失函数就是将所有智能体的损失函数进行求和，优化过程为最小化总损失函数与每个智能体的损失函数

**replay buffer局限：**代表经验收集与再采样的过程，而在IDQN中存在一定问题，因为在多智能体环境中，每个智能体不仅被他们自身的观测与动作所决定，同时受到其他智能体的影响，因此每个智能体的观测与动作会依赖于其他智能体的策略，当采用经验回收池时，假设了经验随着时间具有相关性，而在多智能体环境中，这种相关性会快速过时

**举例解释：**在两个智能体学习围棋的任务中，智能体1采取了特定的策略，短期有较好的收益而长期属于弱策略，智能体2没有采用特定的策略，在刚开始的阶段智能体1会获得奖励而在经验池中存放数据，