10、人群模拟器中基于逆强化学习的智能体行为模拟

人群模拟器中基于逆强化学习的智能体行为模拟

一、引言

人群移动一直是一个备受关注的研究领域，在城市规划、灾难预防和商业策略等多个领域有着广泛的应用。然而，使用真实人群进行实验和测试存在诸多实际困难，因此，使用模拟器来复制所需场景成为了一种被广泛接受的解决方案。

智能体模型由于其灵活性和可扩展性，常用于人群模拟。但人类行为难以建模，因为人们的行动往往由目标驱动，而这些目标通常不明确，也不总是遵循最优计划。此外，在大规模人群场景中，对模型的可扩展性和性能要求也很高。

为了解决这些问题，我们提出了一种使用逆强化学习（IRL）的模型。该模型的研究背景是城市行人模拟，旨在提取地图上特定地点周围的行人流动信息，预测哪些地方适合特定业务。我们的目标是部署大量具有不同目标（如购物、工作、娱乐）的智能体，观察环境特征如何影响它们的行为。

我们开发了一个人群模拟器CrowdWalk，最初使用简单的脚本智能体来计算轨迹，后来通过添加一个基于IRL的行为模块进行了扩展。这个模块使智能体能够根据地图上的现有特征做出路径选择，并且即使在不了解场景布局的情况下也能进行导航。

二、相关工作

人群模拟近年来受到越来越多的关注，因为它可以解决社会中的许多重要问题。例如，交通模拟可用于改善交通系统和网络，降低汽车污染；行人模拟可用于设计疏散策略，识别自然灾害或恐怖袭击等具体场景中的潜在问题。

不同的模型被用于实现高效准确的模拟，如元胞自动机模型和社会力模型。但每个模型都有其局限性，如社会力模型在高密度情况下难以准确表示碰撞行为，元胞自动机模型在模拟高速或非均匀速度的智能体时存在问题。为了解决这些问题，研究人员通常会对模型进行扩展，使其