panbaoran913的博客

基于站点的共享单车系统已在多个大城市实施，提供了一种低成本且环保的交通替代方式。为解决站点不平衡问题，运营商通常通过卡车重新调配自行车。由此产生的动态规划问题受到了运筹学界的广泛关注。由于其建模灵活性，混合整数规划仍然是一个受欢迎的选择。然而，这种复杂的规划问题需要进行大量简化才能获得计算上可行的模型。因此，现有模型在决策变量和约束方面使用了各种各样的建模假设和技术。不幸的是，这些假设对实际解决方案性能的影响总体上仍未得到充分探索。在本文中，我们首先系统地综述了关于再平衡问题及其建模假设的文献。

本文提出一种基于强化学习的自行车共享系统动态再平衡方法。针对多车辆协同场景，构建了连续时间框架下的多智能体马尔可夫决策过程模型，避免了传统离散时间模型的同步限制。通过开发高真实度模拟器，采用深度Q网络算法估计价值函数，最小化需求损失。实验表明，该算法在60个站点的网络下，相比混合整数规划基准可减少27.12%的需求损失，且决策速度达毫秒级，适用于实时应用。研究为智能城市交通提供了强化学习集成的新思路。

方面,随着深度强化学习理论和应用研究不断深入,其在游戏、机器人控制、对话系统、自动驾驶等领域发挥重要作用;另一方面,深度强化学习受到探索-利用困境、奖励稀疏、样本采集困难、稳定性较差等问题的限制,存在很多不足. 面对这些问题,研究者们提出各种各样的解决方法,新的理论进一步推动深度强化学习的发展,在弥补缺陷的同时扩展强化学习的研究领域,延伸出模仿学习、分层强化学习、元学习等新的研究方向. 文中从深度强化学习的理论、困难、应用及发展前景等方面对其进行探讨.

通过表 2总结了实验实现的 6 类算法的代表性算法在稀疏奖励问题中的表现，相比于 DDPG均有显著提升。

摘要：本文介绍了马尔可夫决策过程（MDP）在医疗决策中的应用，通过比较MDP与传统决策分析方法在活体肝移植最佳时机问题上的表现。研究表明，MDP不仅能更高效地求解最优策略（计算时间显著少于传统方法），还能处理序列决策中的不确定性。文章阐述了MDP的核心概念、求解方法（后向归纳法、价值迭代和策略迭代）及其在医疗领域的潜力，强调其在处理复杂临床决策问题时的优势。案例显示MDP与传统方法得出的最优移植策略和预期寿命结果一致。

本文提出了一种双策略强化学习算法（DPRL）来解决共享单车系统的实时再平衡问题。该方法创新性地将库存决策和路径决策解耦，采用基于DQN的双重策略框架分别处理这两个子问题，以更准确地捕捉系统动态变化并最小化需求损失。研究通过多智能体马尔可夫决策过程建模，并在考虑时间和天气因素的实际数据集上进行实验验证。结果表明，DPRL算法显著优于传统的混合整数规划模型和单一策略强化学习方法，为城市交通优化提供了新思路。该方法不仅提高了共享单车系统的运营效率，也为解决其他类似动态规划问题提供了参考。

本文提出了一种基于网格规划的未知环境轨迹预测方法P2T，通过最大熵逆强化学习(MaxEnt IRL)学习场景中的奖励函数，并联合推断行人和车辆的潜在目标及路径。该方法包含三个核心模块：全卷积奖励模型、MaxEnt策略采样器和基于注意力的轨迹生成器。实验表明，在斯坦福无人机和NuScenes数据集上，P2T能生成多样化的预测轨迹，准确反映多模态分布，并保持与场景结构的一致性。相比现有方法，P2T在长时预测和场景适应性方面表现更优，为自动驾驶中的轨迹预测提供了新思路。

本文提出了一种融合混合现实（MR）与人机协同决策（HMCDM）的异质多智能体路径规划方法HMATD3，以解决复杂动态环境中异质智能体的协同导航问题。方法包含三个关键模块：1）基于危险度的离线规划，通过改进A*算法的启发式函数降低碰撞风险；2）基于深度强化学习（DRL）的在线规划，采用改进的MATD3算法实现动态避障；3）人机协同决策模块，通过MR技术将人类专家经验融入路径修正过程。实验表明，该方法能有效处理智能体异质性，提升路径安全性和实用性，其中奖励函数设计结合了路径危险度和RVO避障策略，解决了DRL的

本文提出了一种基于邻接约束的分层强化学习方法（HRAC），通过将高层动作空间限制在当前状态的k步邻域区域，有效解决了目标条件化HRL中训练效率低下的问题。理论分析表明，在确定性MDP中，邻接约束能保持最优分层策略，且可通过邻接网络实现。实验在离散和连续控制任务上验证了HRAC的有效性，相比HIRO等基线方法，在Key Chest、Maze等任务中表现更优。该方法通过参数化近似最短转移距离，结合对比学习训练邻接网络，为HRL提供了一种高效的目标生成机制。

面对状态多变任务复杂奖励稀疏的环境，HRL是一个不错的选择。面对上层网络需要为下层网络输出子目标。因为会有了一个V（状态，子目标）的价值函数用于评估子目标的好坏。其次子目标的是如何设定的呢？在本文中根据覆盖度和新颖度设计了一批“地标“，也可以看作是子目标的候选集。通过最短路径的方法，获得最紧急而非距离最近的地标点，记为$l_t^{sel}$.它可能距离当前状态过远，直接作为子目标会导致低层策略难以达成。生成伪地标 $g_t^{pseudo}$，将其投影到当前状态的邻域.策略模型分为高层策略和低层策略。两

MDP无记忆性，使用LSTM补足缺点。PPO解决新旧策略差距大的问题。对于环境中的障碍物，设置增量课程，障碍物由1—>32.使用了PPO8, PPO16, PPO，和启发式算法(基准)作对比实验。PPO8和PPO16在训练初期学习速度较慢，但后期表现更稳定。随着训练进行，PPO8和PPO16的性能逐渐超越PPO，表明记忆机制的有效性。LSTM的时间步数为4or8。输入一个长度为n的状态序列。每步的状态为[时间，障碍物信息，距离dx, dy]。LSTM输出的是策略(即 【动作，概率】)，LSTM的优化不

摘要：本文提出了一种创新方法，通过结合量化理论和因果推断来优化设计不连续性阈值。传统回归不连续性设计(RDD)利用自然断点进行因果推断，但未考虑阈值的最优设计。作者建立了一个量化理论框架，先学习不连续变量的因果效应，再运用动态规划进行最优量化设计，并开发了高效的强化学习算法。实证研究中，该方法被应用于优化全球时区边界设计，通过分析社会资本、社会流动性和健康数据，证明了重新设计时区边界可能提升人类福祉。研究揭示了时区边界对社会资本和COVID-19传播的显著影响，为政策制定提供了新思路。

本篇论文评估：用GAT建立图结构，用GNN抓取信息，用DQN获得动作选择。说是多智能体，但本质上是单智能体的。但是提供很好了状态向量空间的搭建方法。优点是面对不确定性，采用期望loss值的方法。电动汽车的普及，不仅改变了我们的出行方式，更深刻地重塑着电力系统和交通网络的交互模式。如何高效、智能地协同管理这个融合网络，是当前亟待解决的关键问题。

2️⃣第二，当仅分配少量激励预算时，BIM能够以较快的速度收敛到最优激励价格，因此，只要用户能够以真实成本合理出价，BIM就被大力推荐。政策制定者和BSS从业人员应特别注意采取有效措施，如（i）引入区块链，（ii）将用户的个人信息与其投标价格隔离，以及（iii）共享成功交易的投标价格，以提高信息透明度（但是，受隐私保护）。**在此，我们考虑用户的不合理性，并分析其对BIM的有效性的影响。基于未经证实的投标价格（高于用户的真实距离成本），运营商高估了用户的距离成本，并相应地提供了高于用户预期的激励价格。

近年来，在共享单车项目的推动下，对城市自行车的需求迅速增加。作为鼓励骑自行车的有效方式之一，自行车道已被公认为支持骑自行车通勤。因此，合理规划自行车道和建设自行车道网络对于改善城市地区的自行车通勤至关重要。以北京为例，提出了基于手机数据的自行车道选择和优化分析框架。通过挖掘手机地理信息来分析自行车需求，然后应用TOPSIS方法评估自行车道的可用道路空间。最后，本研究采用最低成本路径方法选择自行车道路线，然后分别根据自行车道建设的两个场景的自行车潜力和交通量进行分类。

随着物联网技术( IoT technology)的成熟和共享经济在全球范围内的扩展，共享单车系统( bike-sharing system)（BSS在过去十年中迅速传播。在新城市引入BSS时，运营商经常面临许多挑战：例如，优化车站选址（物理或电动）、建设自行车道以及制定自行车初始分配和重新平衡的策略。这些挑战需要在部署BSS之前进行准确的区块间流量预测。本文从城市道路网中推导区块，并根据POI的分布和类型提取区块的特征。然后，可以根据开始/结束块(start/end block)和。

本文探讨了共享单车系统的动态再平衡问题，提出混合整数规划（MIP）和强化学习（RL）两种方法。MIP通过离散时间建模实现多周期优化调度，但存在计算滞后问题；RL则采用连续时间框架的MDP模型，能实时响应需求变化。研究对比了两种RL决策策略（同步与分离）的性能表现，结果表明RL方法在动态适应性、决策效率和用户体验方面优于传统MIP，能有效降低因车辆调度不及时导致的用户需求损失。通过理论分析和实验验证，为共享单车系统的智能调度提供了新的解决方案。

本文提出一种基于强化学习的混合共享单车系统多平台动态博弈与运营优化方法。针对竞争环境下传统自行车与电动自行车混合运营的复杂问题，研究构建了双平台马尔可夫决策过程框架，将博弈论与强化学习相结合，通过改进的嵌套Logit模型刻画用户选择行为，并开发了定制化的双重决斗深度Q网络算法进行求解。基于深圳真实数据的实验表明，该方法能实现平台利润与市场份额的双提升，为混合共享单车系统的动态定价和车辆调度提供了有效的解决方案。研究成果对多平台竞争环境下的共享出行系统运营具有重要指导意义。

为每个层级 i，定义技能用于在相邻簇。

泊松到达过程是连续时间、离散状态的随机过程，记为。

核心问题：如何更有效的进行自行车OD矩阵的估计？

用户更关心"是否有自行车可用"，而非具体数量。阈值策略:用户根据预测概率p和阈值p∗p^*p∗、决定是否前往站点。评分规则设计:基于用户效用函数(衡量用户满意度)，设计新的评分规则，用户有一个效用函数，用于衡量用户满意度。比如，成功借到车的效用高于没借到车的效用，用户会根据预测的概率p和一个自己设定的阈值p∗p^*p∗来决定是否去站点。如果预测概率大于等于阈值，就去;否则不去。评分规则是根据用户最终的决策结果和实际发生的情况来打分。

一种基于优先级的混合遗传算法，用于解决具有时间窗口和多个决策者的逆向物流中同时提货和交付问题该文提出了一种基于混合优先级的嵌套遗传算法，该算法具有模糊逻辑控制器和模糊随机仿真（hybrid priority-based nested genetic algorithm with fuzzy logic controller and fuzzy random simulation [hpn-GA with FLC-FRS]）来解决车辆路径问题的变体。为了满足实际逆向物流中包含的所有复杂限制，开发了一种新的数学

针对一类，分析对传统车辆路径问题的本质影响，将动态车辆路径问题(Dynamic Vehicle Routing Problem,转化为多个静态的多车型开放式车辆路径问题(The Fleet Size and Mixed Open Vehicle Routing Problem,，并进一步转化为多个带能力约束车辆路径问题(Capacitated Vehicle Routing Problem,，基于CVRP模型建立了DVRP模型；然后，在分析DVRP问题特点基础上，提出，1️⃣。

车辆路径问题(Vehicle Routing Problem，VRP)旨在通过合理规划行驶路径来优化运输成本，对于降低物流运营成本具有重要的应用价值。带时间窗约束的车辆路径问题(Vehicle Routing Problem with Time Windows，VRPTW)是在 VRP 问题基础上引入了时间窗口约束，因其更符合当前实际物流配送系统的运行情况和应用场景而成为 VRP 问题研究的热点。本文基于VRPTW模型的基本构成要素：配送网络、路径和节点，面向。

可见，在ＩＮＩＴＩＡＬ情况下初始行 驶 距 离 较ＩＮＩＴＩＡＬ＿ＰＤＣＷ、ＮＯ＿ＩＮＩＴＩＡＬ要小 很 多，但 比 ＩＮＩＴＩＡＬ＿ＰＤＭＰＣＷ、ＩＮＩＴＩＡＬ＿ＰＤＭＰＲＣＷ 要大一些，这说明，针对具有双重需求的 ＶＲＰＳＰＤ问题，其初始解质量在单纯考虑客户需求量对插入节点节约值的影响时最差，在增加考虑不同节点之间运输费率或运输距离对节约值权重影响、且不固定客户节点时最好，而同时考虑３种初始化方法仅处于中间状态。每次迭代后，算法会计算当前路径的行驶距离，并与之前的迭代结果进行比较。

：针对带时间窗的同时取送货车辆路径问题（vehicle routing problem with simultaneous pickup-deliveryand time windows，VRPSPDTW），构建了以车辆使用成本、车辆行驶距离成本总支出最小化的路径优化数学模型，提出自适应头脑风暴算法（adaptive brain storm optimization，ABSO）进行求解。全局搜索阶段，采用多项惩罚方式扩大搜索区域，并使用聚类及三种路径搜索策略进行全局搜索；局部搜索阶段，将六种破坏-修复

基于对自由浮动自行车共享系统(free-float bike sharing system)的详细 GPS 数据分析，从空间和时间上确定了自行车使用的移动模式。根据季节、天气状况、一天中的时间和节假日/周末等不同因素，我们建立了一个需求模型，以预测特定时间和地点即将到来的需求。该模型揭示了运营区域内不同区域和不同时间段的最佳车队分布。为了重新分配车队，制定了合理的搬迁策略，以便在运营区域内获得自行车的最佳分布。评估了两种不同类型的搬迁方法：基于操作员的搬迁策略，其中至少一辆车重新分配车队的一部分。

自由浮动共享单车是一种创新且可持续的出行方式，共享单车可以在街道上的任何适当位置取车和归还，而不仅仅是在停靠站。然而，在这些系统中，出现了两个主要问题。一个是区域之间自由浮动共享单车（FFSB）的不平衡，这是由于单程旅行，另一个是必须带去维修的损坏自行车。在这项研究中，提出了一种动态重新定位运营和损坏自行车的建模框架，该框架首先使用深度学习算法预测共享自行车的数量和位置。需求预测模型采用嵌入注意力机制的编码器-解码器架构，进一步增强模型的预测能力和灵活性。

新一代共享单车是一种O2O(online-to-offline)（线上到线下）平台服务，使用户users能够通过智能手机应用程序smartphone App访问自行车。该文提出一种具有预测需求的动态重新定位模型(a dynamic repositioning model with predicted demand)，其中重新定位时间间隔是固定的(he repositioning time interval is fixed)。引入数据驱动的神经网络NN）方法来预测自行车共享需求。

自行车共享系统促进了城市交通的可持续性。共享自行车可用于短途旅行或进入公共交通系统。然而，自行车跨站的不对称时空分布已成为阻碍城市采用共享单车的主要障碍。在实施有效解决这一问题的政策之前，有必要了解共享单车在车站分布不均的情况。本研究提出了利用南京共享单车出行数据集识别车站层面租返失衡的方法。接下来，本研究比较了不同时期（早高峰、晚高峰和非高峰）共享单车使用不平衡的时空特征。最后，建立了。

共享单车系统在可持续城市发展过程中具有环境友好性和可共享性，已成为不可或缺的交通方式。然而，**早晚高峰时段人们出行模式的不对称性导致了自行车库存的不平衡。**因此，车站租赁和退货需要重新分配，以解决自行车的重新平衡问题。该文提出一种基于用户的双层规划模型重定位方法。为了最大限度地减少重新定位工作量，上层模型产生了重新分配比例，使车站的租金和回报之间实现了平衡。此外，为了最大化用户利润，低级模型计算站对之间的再分配矩阵，并为用户提供推荐的台站。最后，给出了共享单车系统、运营商和用户的。

近年来，自行车重新定位问题(Bike Repositioning Problem)（BRP引起了许多研究人员的关注，以提高自行车共享系统（BSS）的服务质量。它主要是设计车辆在站点之间转移自行车的路线和装载说明，以达到理想的状态。本研究涉及静态绿色BRP，旨在最大限度地减少重新定位车辆的 二氧化碳排放量，同时在时间预算内尽可能多地实现车站的目标库存水平(This study tackles a static greenBRP。考虑两种类型的自行车，包括。

本文研究了自由浮动共享单车系统(free-floating bike-sharing system)（FFBSS多车场、多访问、多异构车辆的自行车重新定位问题(a bike repositioning problem with multiple depots, multiple visits, and multiple heterogeneous vehicle)。定义了两种类型的节点（即容易和几乎无法访问的节点），具有不同的惩罚，以表示从FFBSS获取自行车的不同便利程度。

自行车共享系统可以显着减少交通、污染和市中心对停车位的需求。自行车共享系统成功的关键之一是再平衡操作的效率，其中每个站点的自行车数量必须由卡车通过提货和送货操作恢复到其目标值(the number of bicycles in each station has to be restored to its target value by a truck through pickup and delivery operations)。

自由浮动共享单车Free-floating bike sharing （FFBS是一种创新的共享单车模式。和基于站点的共享单车（SBBS）相比，FFBS通过避免建造额外的扩展坞和售货亭机器，节省了启动成本。FFBS通过内置GPS实时跟踪自行车，防止自行车被盗，并为智能管理提供了重要机会。然而，与SBBS一样，FFBS的成功取决于其重新平衡运营的效率，以尽可能满足最大需求。

在本文中，研究了具有随机需求的自行车重新定位问题。该问题被制定为两阶段随机规划模型 two-stage stochastic programming model，以优化随机需求下每个站点和仓库的重新定位卡车的路线和装卸决策。该模型的目标是。

本文解决了多车自行车重新定位问题 multi-vehicle bike-repositioning problem，一个接送车辆路径问题 pick-up and delivery vehicle routing problem这与自行车共享系统有关。共享单车是一种绿色交通方式，让人们可以使用共享单车出行。自行车可以在自行车共享网络内的任何一个站点取回和停放。一项主要挑战是自行车的供需并不总是匹配。因此，车辆被用来从过剩的站点取走自行车并将它们运送到不足的站点以满足特定的服务水平。

Solving a static repositioning problem in bike-sharing systems using iterated tabu search 使用迭代禁忌搜索解决自行车共享系统中的静态重新定位问题在本文中，我们研究了静态自行车重新定位问题，其中问题包括选择要访问的站点子集，对它们进行排序，并确定各种情况下的上/下车数量（与每个访问的站点相关联）操作限制。目标是尽量减少所有车站的总罚款。我们提出了一种迭代禁忌搜索启发式来解决所描述的问题。实验结果表明，这种简单的启发式

在本文中，通过考虑外包运输模式，提出了一个双层规划模型来制定静态自行车重新定位（SBR）问题，该问题可用于确定每个站点装载和卸载的自行车数量以及最佳卡车自行车共享系统 (BSS) 中的路线。上层BSS提供商确定站点的最佳装卸量，以最大限度地减少总罚款。下级货车车主追求运输路线成本最低。开发了迭代局部搜索和禁忌搜索来求解模型。对 20 到 200 辆自行车的一组实例进行的计算测试证明了所提出的模型和算法的有效性，以及一些有见地的发现。在本节中，我们首先描述问题的不同方面，然后介绍其数学模型。