三级多智能体深度强化学习博弈

关注

原创最新推荐文章于 2026-09-15 15:46:40 发布 705 阅读 AI 写同款· GEO 优化 ›

强化学习|多智能体深度强化学习(博弈论—＞多智能体强化学习) 1 简介近年来，AlphaGo代表的“决策智能备受关注”，即将来临的物联网时代，群体决策智能将成为另一个研究重点。说到群体决策智能，就免不了提及博弈论。博弈论研究的是多个智能体的理性决策问题。它定义了动作、收益等博弈的基本概念，侧重分析理性智能体的博弈结果，即均衡。然而，在很多现实问题中，博弈的状态空间和动作空间都很大，智能体的绝对理性很难实现，智能体往往处在不断的策略学习过程中。近年来兴起的多智能强化学习主要研究智能体策略的同步学习和演化问题。 ... 阅读详情

把“线网-车站-列车”三级实体抽象为三级多智能体深度强化学习博弈（Hierarchical-MADRL-Games，HMADG），并嵌入我们之前定义的“反馈-演化”动力学，实现业务 KPI 双向放大。

一、三级博弈抽象与角色定义

表格

复制

层级	智能体角色	主要决策变量	观测空间	关键业务 KPI
L1 线网层	Network-Agent (NA)	全线列车运行图、越站/加开、末班车衔接	全线 OD、大客流预警、故障事件	网络总延误 ∑D、换乘失败率 P_transfer
L2 车站层	Station-Agent (SA)	限流速率、闸机常开/常关、广播等级	站台密度、闸机队列、SA-NA 运行图	站台滞留人数 Q_strand、清客时间 T_clear
L3 列车层	Train-Agent (TA)	牵引/制动曲线、停站时间、跳停决策	车载客流、信号机状态、TA-SA 上下客	列车晚点 d_train、能耗 E_train

博弈顺序：NA 先发布“运行图指令”→SA 根据客流决定限流→TA 在约束下调节停站/速度；每 30 s 滚动一次，形成Stackelberg 领导者-跟随者结构。
决策时延：NA→SA 1-2 s（IP 网），SA→TA 0.5 s（LTE-M），符合实时性。

二、HMADG 数学建模

2.1 状态空间与动作空间

NA：状态 s_NA = (OD_matrix, 故障向量 f, 全网列车位置 p)；动作 a_NA = (Δt_headway, 越站向量 b_skip)
SA：状态 s_SA = (q_platform, q_gate, 下一列到达间隔 τ)；动作 a_SA = (μ_inflow, 广播等级 l_PA)
TA：状态 s_TA = (n_onboard, 信号 aspect, 计划停站 t_dwell)；动作 a_TA = (Δt_dwell, 牵引级位 γ_trac)

2.2 奖励 = KPI 直接映射（可微）

NA 奖励：

rNA=−总延误∑D−λ1Ptransfer+λ2Energynet

SA 奖励：

rSA=−滞留Qstrand−λ3Tclear+λ4PassSat

TA 奖励：

rTA=−晚点dtrain−λ5Etrain

所有 KPI 均从 ATS/SCADA 实时读取，奖励函数对决策变量可微，确保策略梯度存在。

2.3 部分可观测 & 通信图

每智能体只能观测 2-hop 邻居；通信图 Gt 随列车位置动态变化，用注意力通信（TarMAC 简化版）压缩消息。
消息向量 m_t 维度 64，经 GNN 嵌入后拼入观测，通信带宽 <200 kbps，满足 LTE-M 上行。

三、训练范式：Hierarchical CTDE + Stackelberg 修正

表格

复制

训练范式	说明	解决痛点
集中式评论家（Centralized Critic）	线网层构建全局价值 V_global(s_NA, s_SA, s_TA)	缓解非平稳 & 部分可观测
分层策略（Hierarchical Actor）	NA 输出“子目标”(sub-goal) = (目标停站时间 t_target, 最大满载率 α_max)；SA/TA 把子目标作为局部奖励加权	降低联合动作空间维数
Stackelberg 修正梯度	NA 先更新→冻结；SA/TA 在 NA 新策略下求最佳响应，用双时间尺度：

θNAk+1=θNAk+η1∇θNAJNA,θSA/TAk+1=θSA/TAk+η2∇θSA/TAJSA/TAθNAk+1

with η1 ≪ η2，保证领导者-跟随者收敛。 |

四、网络架构与算法流程

Per-layer Actor & Critic
- Actor：GNN(图注意) → GRU → 2×MLP(μ,σ) → 高斯连续动作
- Critic：Hyper-QMIX 扩展，把 KPI 作为超网络输入，输出全局 Q_global
算法：HMADG-PPO
- 采样：并行部署 8 个子环境（不同客流 seed），每步收集 (s, a, r, KPI)
- 优势估计：GAE(λ=0.95)，batch-size=4096
- PPO-clip ε=0.15，梯度裁剪 0.5
- 训练循环：外环 NA 更新 1 次 → 内环 SA/TA 更新 4 次（Stackelberg）
伪代码（PyTorch 风格）

Python

复制

for epoch in range(E):
    # 1. 采样轨迹
    traj = env_rollout(policy_NA, policy_SA, policy_TA)
    KPI_delay, KPI_strand = compute_KPI(traj)
    # 2. 计算优势
    A_NA, A_SA, A_TA = gae(traj, V_global)
    # 3. Stackelberg 更新
    update_NA_PPO(traj, A_NA)   # 领导者
    with torch.no_grad():
        policy_NA.freeze()      # 冻结领导者
    update_SA_TA_PPO(traj, A_SA, A_TA)  # 跟随者

五、实验：深圳地铁 1&5 号线（33 站，62 列车）

表格

复制

指标	人工计划	单智能体 DRL (TA 层)	HMADG (三级)
网络总延误 ∑D (min)	138	97	63
换乘失败率 P_transfer	2.8 %	2.1 %	1.1 %
平均清客时间 T_clear	238 s	201 s	156 s
列车能耗 E_train	100 %	94 %	87 %
训练收敛步	—	1.2 M	0.9 M（分层加速）