36、轻量级片上学习与多智能体协作学习研究

轻量级片上学习与多智能体协作学习研究

1. 引言

随着强互联应用系统规模和复杂度的不断增加，对智能分布式信息处理和控制的需求日益凸显。多智能体系统（MASs）的设计应运而生，它运用机器学习和分布式人工智能的概念，成功应用于众多场景，如工业自动化协作、能源交易、物流配送路径规划以及建筑空调管理等。

MASs 由一组在共同环境中自主行动的智能体组成，这些智能体从环境中获取感官输入，匹配相应的动作并执行，进而影响环境。其中，智能体不一定是物理实体，也可以是软件定义的虚拟实体。捕食者 - 猎物追逐场景为 MASs 的基础研究提供了通用场景，涵盖了众多潜在应用领域的关键要素。

本文将探讨捕食者 - 猎物场景中的学习问题，比较集中式知识学习（所有捕食者贡献到一个集中规则库）和个体知识学习（每个智能体独立学习并将经验存储在本地分散规则库）两种方法，并着重比较两种学习场景下团队达成目标的速度。

2. 多智能体系统中的学习分类器系统

学习分类器系统（LCSs）起源于 20 世纪 70 年代，是基于遗传的机器学习中最为活跃和成熟的形式之一。它是基于规则的在线学习系统，结合了自然启发式优化和强化学习技术，为输入信息学习合适的动作。

许多 LCS 实现基于 Wilson 的扩展学习分类器系统（XCS）。其工作流程如下：
- 学习智能体感知环境并将探测器值发送到 XCS。
- 输入信息与规则库（种群 P）中的所有规则（分类器）进行匹配，匹配的分类器进入匹配集 M。
- 匹配集 M 中的分类器按动作分组，使用预测数组 PA（包含每个动作预测值的平均值）。
- 选择预测值最高的动作，相关分类器组进入动作集