56、基于强化学习的协同牧羊者群体导航

基于强化学习的协同牧羊者群体导航

1. 引言

牧羊是一个具有挑战性的规划问题，即通过一个或多个外部代理（牧羊人）施加的力来引导一群被动代理（羊群）从起始位置到达目标区域。该问题在农业、安全、人群控制和环境保护等多个领域都有实际应用。

目前解决牧羊问题的方法主要有两类：启发式规则方法和基于学习的方法。启发式规则方法实现简单，能随羊群规模扩展，但对环境和代理动态变化敏感；基于学习的方法对这些变化更具弹性，但存在代理数量有限、预定义特定动态策略、离散环境以及需要精确观察和了解所有代理位置等局限性。

为了解决这些问题，研究人员将之前的有效载荷保护框架应用到牧羊问题中。通过映射马尔可夫决策过程（MDP）公式并相应调整奖励结构，使代理能够使用相同的网络结构、环境和动作空间来学习新任务。

2. 相关工作

• 基于规则和启发式的方法 ：许多方法通过构建规则集来模仿现实中牧羊犬的行为，如让单个牧羊人在驱赶和聚集两种预定义行为之间切换；对于多个牧羊人，通常会形成弧线、直线或圆形来控制羊群。这些方法大多依赖于对羊群质心或所有羊位置的完全了解。
• 基于学习的方法 ：一些强化学习解决方案用于经典牧羊问题，但存在仅使用一个牧羊人、羊群规模小等局限性。虽然强化学习能够处理多个代理，但许多学习方法依赖于给定的信息，如基本策略优化或路径引导的转向点。此外，还有一些非传统的牧羊场景被探索，如使用对抗性羊代理或捕获/消灭羊的目标。

大多数牧羊文献使用基于Reynolds“boids”模型或Str¨ombom方法的羊群动态模型。本文主要关注Str¨