11、多智能体学习与后云计算资源管理

多智能体学习与后云计算资源管理

多智能体学习

在多智能体环境下的学习是一个复杂且具有挑战性的领域。在回合制随机博弈的下界问题中，存在可控智能体和不可控智能体。可控智能体控制蓝色状态，不可控智能体控制橙色状态。从图 4 可以直观地看到，如果可控智能体不采用最优策略，不可控智能体总是会选择导致下行路径的动作，从而阻止可控智能体探索环境。基于此，提出了一种新的乐观算法，该算法几乎能匹配所提出的下界。

多智能体强化学习（MARL）框架在处理多智能体决策问题方面具有很大的灵活性，可用于智能电网、自动驾驶、金融市场、无人机配送和机器人控制等领域。但与单智能体强化学习相比，它也带来了新的挑战，如学习目标改变、环境不再稳定，单智能体强化学习的标准算法无法直接应用。主要考虑了三个子问题：
1. 多智能体系统中的逆强化学习（IRL）
- MI - IRL 设定下的 - GIRL 算法 ：该算法存在一些局限性，需要将现有集群的数量作为超参数指定，并且算法可能收敛到非局部最大值的平稳点。
- 从学习者进行 IRL 设定 ：主要挑战在于假设我们知道智能体何时改变策略，自然的扩展方向是自动检测策略变化。此外，如果要同时进行博弈或者其他智能体不理性，就需要构建不同的算法来恢复奖励函数。
2. 马尔可夫博弈中的在线学习
- 从非合作可配置马尔可夫决策过程（MDP）的工作来看，直接的后续工作是扩展该方法以处理连续状态和动作空间，例如使用函数逼近。
- 在一般和马尔可夫博弈的研究中，算法设计和性能保证在很大程度上依赖于对对手的