31、利用队列长度和注意力机制优化交通信号控制

利用队列长度和注意力机制优化交通信号控制

一、背景与现状

随着人口和经济的增长，道路上的车辆数量激增，交通拥堵问题日益严重，这不仅造成了燃料浪费、环境污染，还带来了经济损失。交通信号控制（TSC）对于有效管理交通至关重要，然而，现代城市中常见的TSC系统，如FixedTime、GreenWave、SCOOT和SCATS等，大多依赖专家设计的交通信号计划，难以适应动态交通和不同的交叉口情况。

强化学习（RL）作为机器学习的一个分支，近年来在TSC领域受到了越来越多的关注。与传统TSC方法不同，RL模型可以通过试错和奖励直接从环境中学习，无需严格假设，并且由深度神经网络驱动的RL模型能够应对复杂和动态的交通环境。像PressLight、FRAP、MPLight和CoLight等基于RL的方法，已成为适应动态交通的有前景的解决方案。

不过，基于RL的TSC方法的性能会受到模型框架、状态表示和奖励函数设计的影响。目前，虽然有多种交通状态表示方法，但最有效的表示方式仍不明确。而且，大多数研究侧重于开发新的网络结构来提高TSC性能，而忽视了合适的交通状态表示设计。此外，一些基于RL的方法严重依赖专家设计的交通信号相位竞争关系，这在处理复杂交叉口时可能不太实用。

二、相关工作

（一）传统方法

传统的TSC方法大致可分为四类：
1. 固定时间控制 ：使用预定时长的周期、固定的相位序列和相位分割，假设特定时间段内交通流量均匀。
2. 感应控制 ：根据预定义规则和实时交通数据决定是否维持或改变当前相位，例如当接近车辆数量超过阈值时为某一相