读书笔记 - 多Agent强化学习下的自适应交通信号控制研究综述2017

《多Agent强化学习下的城市路网自适应交通信号协调配时决策研究综述》

系统地总结了多Agent强化学习及协调机制的研究方法，详细地分析了国内外研究现状，并指出现有研究中存在的问题，在此基础上对未来研究进行了展望。

研究结果表明，既有研究主要针对规模较小的路网；存在维数灾难问题；强化学习与协调机制结合研究还不够深入；相关学习参数分析不够细致；仿真环境和情景现实性不强。

未来研究可以引入马尔科夫博弈提高决策协调性；嵌入混合交通流、公交优先等交通管理思想增强决策实用性；引入先验知识及其他学习技术加快学习速度；融入物联网、主动管理、大数据等前沿技术增加决策的实时性；与交通诱导等集成提升决策的系统性。

背景

（1）传统的交通信号配时决策方法不能适应实时多变的较大规模路网的交通流特征
传统的交通信号决策系统，如SCATS、TRANSYT和SCOOT需要建立复杂的交通模型，其不能充分处理过饱和交通状态；
传统的交通信号决策方法，如专家系统、模糊控制、神经网络、进化算法等在一定程度上不能适应实时多变的较大规模路网的交通流特。如模糊逻辑 不能充分表示实时交通的不确定性，更适合孤立交叉口的交通信号配时决策。在大规模路网的交通信号配时决策下神经网络及遗传算法 所需计算量大，优化参数难确定。

（2）多Agent强化学习 更能适应城市路网交通环境的变化
由于多Agent系统与城市交通控制系统在结构上、机理上具有很大的相似性，如自学习、交互式等。因此多Agent强化学习非常适合于解决分布式交通信号配时问题，并能适应城市路网交通环境的变化。

（3）引入协调机制 能更有效地进行路网自适应交通信号配时决策
由于城市路网中各交叉口处的交通流是相互关联和影响的（特别是在较高饱和度交通条件下），各交叉口控制策略间存在博弈现象。因此为了更有效地进行多交叉口交通信号配时决策，