3、多智能体系统中鱼类银行游戏的监督规则学习与强化学习

多智能体系统中鱼类银行游戏的监督规则学习与强化学习

1. 引言

多智能体系统的环境往往非常复杂，因此有时很难甚至不可能事先指定和实现系统的所有细节。机器学习算法的应用可以克服这一问题，我们可以实现一个并不完美但能不断提升性能的智能体。

在多智能体系统中，有许多学习方法可用于生成知识或策略，但选择适合特定问题的方法并非易事。本文研究的目的是测试强化学习和监督规则学习策略在同一问题中的适用性。

强化学习是多智能体系统中最常用的技术，当智能体采取行动后，环境会提供反馈，该技术可据此为智能体生成策略。而符号监督学习在多智能体系统中应用并不广泛，但这类方法有很多可从数据中生成知识，本文使用了规则归纳算法，它能生成基于规则的分类器，为给定示例分配类别。这里我们展示了如何通过观察其他智能体的行动来替代教师提供示例。

我们以鱼类银行游戏作为环境，在这个模拟游戏中，智能体管理渔业公司，主要任务是决定派遣多少艘船以及派往何处捕鱼。我们创建了四种类型的智能体：强化学习智能体和监督学习智能体通过合适的学习策略提升资源分配性能；另外还引入了随机智能体（随机选择分配行动）和预测智能体（假设当前轮次捕鱼结果与上一轮相同，并据此分配船只）作为参考。

2. 多智能体系统中的学习

多智能体系统中的学习问题可看作是多智能体系统研究与机器学习研究的结合。机器学习主要关注单个智能模块执行的孤立过程，而多智能体方法涉及由自主元素（智能体）组成的系统，其行动旨在实现给定目标。在这种情况下，学习基于对智能体自身或其他智能体为实现目标而采取行动的影响的观察。

学习可以采用传统的集中式（单个学习智能体）或分布式方式进行。目前，具有学习能力的基于智能