2、优化领域研究进展：从强化学习到交通流量分配

优化领域研究进展：从强化学习到交通流量分配

1. 研究概述

在当今的优化研究领域，多个重要方向取得了显著进展，包括强化学习、交通流量分配以及最优控制等。这些研究不仅在理论上具有重要意义，还在实际应用中有着广泛的价值。

1.1 强化学习视角下的最优策略学习

从随机优化的角度研究无限期马尔可夫决策过程（MDPs）的最优策略学习问题。探讨了折扣和平均奖励MDPs在生成模型下的下界和最优算法，并关注了并行化方面。其核心思想是将MDP的最优策略学习问题与基于贝尔曼方程的随机优化算法（如镜像下降类型）相关联。

1.2 多子网城市道路网络的均衡交通流量分配

现代城市的道路网络通常包含多个子网，如公交专用道和收费道路子网。研究致力于解决多子网城市道路网络中的均衡交通流量分配问题，将其表述为非线性优化程序，并证明其解对应于多子网道路网络中的均衡交通分配模式。此外，还证明了该均衡分配模式能保证公共车辆和付费司机的旅行时间少于或等于其他车辆。

1.3 不等式约束最优控制问题的局部搜索方案

针对具有Bolza泛函形式的成本泛函和不等式约束的非凸最优控制问题。通过精确惩罚理论提出了惩罚成本泛函的状态 - DC形式，并对惩罚问题的基本非凸性进行线性化，研究了线性化的最优控制问题。在此基础上，开发了一种具有可变惩罚参数的特殊局部搜索方法，并探讨了该方案的收敛性。

2. 多子网城市道路网络的交通流量分配

2.1 多子网城市道路网络的表示

将多子网城市道路网络表示为有向图 (G = (E, V))，其中 (V) 是交叉点集合，(E\subseteq V\t