41、用于交通信号控制的具有协调和奖励塑造的多智能体元强化学习

用于交通信号控制的具有协调和奖励塑造的多智能体元强化学习

在交通信号控制（TSC）领域，为了提高交通效率，一种名为Meta - CSLight的方法被提出。它由元训练阶段和元测试阶段组成，通过构建独立学习模型和邻居感知学习模型，结合协调策略和奖励设计，以适应不同的交通流量环境。

1. Meta - CSLight框架概述

Meta - CSLight的框架包含两个阶段，即元训练阶段和元测试阶段。在元训练阶段，它会构建独立学习模型和邻居感知学习模型，分别用于适应轻交通和重交通的交叉路口。为了区分轻、重交通情况，引入了交通压力的概念。在元测试阶段，使用元训练阶段训练好的模型来适应新的交通环境。

2. 协调策略

Meta - CSLight使用两个模型来训练交通流量环境$V_e$：独立学习模型$f_{\theta_{indep}^e}$和邻居感知学习模型$f_{\theta_{nei}^e}$，其中$e$是交通流量环境的索引。
- 独立学习模型$f_{\theta_{indep}^e}$使用交通压力$P \leq 0$的轻交通交叉路口的数据进行训练。
- 邻居感知学习模型$f_{\theta_{nei}^e}$使用交通压力$P > 0$的重交通交叉路口的数据进行训练。

两个模型都使用深度Q网络（DQN）作为函数逼近器来估计状态 - 动作对的Q值，因为与其他强化学习算法相比，DQN更易于处理TSC中的离散动作空间。具体公式如下：
[
q_{t}^{e,j} = f_{\theta_{indep}^e}(s_{t}^{e,j}) \quad P_j \leq 0
]
[