<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[panbaoran913的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/panbaoran913</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; panbaoran913]]></copyright><item><title><![CDATA[[论] Optimal Design of Observable Multi-Agent Networks: A Structural System Approach]]></title><link>https://blog.youkuaiyun.com/panbaoran913/article/details/158890662</link><guid>https://blog.youkuaiyun.com/panbaoran913/article/details/158890662</guid><author>panbaoran913</author><pubDate>Tue, 10 Mar 2026 22:02:07 +0800</pubDate><description><![CDATA[本文提出了一种基于结构系统方法的多智能体网络优化设计策略。针对可观测性需求，将网络设计问题转化为两类优化问题：1）最小化通信成本（P1）；2）确保通信链路故障下的鲁棒性（P2）。通过将P1问题映射为旅行商问题（TSP），并证明其解满足结构可观测性条件。对于P2问题，提出通过组合两个不相交的TSP解来构建冗余通信路径。以6个AUV的协同路径跟踪为例，验证了该方法在保持队形控制的同时能有效降低通信成本，并具备故障容错能力。理论分析与仿真结果表明，该方法能兼顾网络性能和成本优化。]]></description><category></category></item><item><title><![CDATA[【专题之MARL】 Prescriptive Process Monitoring Under Resource Constraints: A Reinforcement Learning Appro]]></title><link>https://blog.youkuaiyun.com/panbaoran913/article/details/158419181</link><guid>https://blog.youkuaiyun.com/panbaoran913/article/details/158419181</guid><author>panbaoran913</author><pubDate>Fri, 27 Feb 2026 13:58:52 +0800</pubDate><description><![CDATA[本文提出了一种基于强化学习（RL）的资源受限规范性流程监控（PrPM）方法。该方法通过预测模型、因果模型和生存模型评估干预的必要性、效果及时机，并结合共形预测技术处理不确定性。离线阶段进行数据预处理并训练预测、因果和生存模型；在线阶段利用RL代理实时决策，动态调整干预策略。系统还包含容量监控组件，跟踪资源利用率和工作量，以优化资源分配。实验表明，该方法能有效平衡干预时机与资源限制，显著提升流程效率。]]></description><category></category></item><item><title><![CDATA[【专题之MARL】 A Multi-Agent Reinforcement Learning Approach to Prescriptive Process Monitoring]]></title><link>https://blog.youkuaiyun.com/panbaoran913/article/details/158347772</link><guid>https://blog.youkuaiyun.com/panbaoran913/article/details/158347772</guid><author>panbaoran913</author><pubDate>Wed, 25 Feb 2026 11:42:00 +0800</pubDate><description><![CDATA[本文提出了一种基于多智能体强化学习(MARL)的处方过程监控方法，重点研究了MAPPO和QMIX算法在业务流程优化(BPO)中的应用。通过构建MASTER模拟平台，将资源建模为自主智能体，支持部分可观测性和事件日志驱动的任务分配。研究探讨了MARL在BPO中的适用性，比较了不同算法在数据集上的性能差异，并提出了一种结合集中训练与分散执行的框架。实验结果表明，该方法能有效优化任务分配策略，提高流程效率。]]></description><category></category></item><item><title><![CDATA[【专题之MARL】A Survey on UAV Control with Multi-Agent Reinforcement Learning]]></title><link>https://blog.youkuaiyun.com/panbaoran913/article/details/158316045</link><guid>https://blog.youkuaiyun.com/panbaoran913/article/details/158316045</guid><author>panbaoran913</author><pubDate>Mon, 23 Feb 2026 21:20:19 +0800</pubDate><description><![CDATA[本文综述了多智能体强化学习（MARL）在无人机控制领域的应用。首先介绍了强化学习的基本概念，包括单智能体强化学习（SARL）和多智能体强化学习（MARL）的区别，重点分析了MARL面临的挑战如信用分配问题、计算复杂度增加等。然后详细阐述了MARL的理论基础马尔可夫博弈，以及三类主要算法：基于价值、基于策略和演员-评论家方法。特别对基于价值的QMIX算法进行了深入解析，包括其集中式训练分散式执行的架构设计、单调性约束保证和重播缓冲区机制。最后讨论了分层强化学习在解决个体与全局目标对齐问题上的应用，通过全局层和]]></description><category></category></item><item><title><![CDATA[【报错】import导入警告但实际已经安装]]></title><link>https://blog.youkuaiyun.com/panbaoran913/article/details/156569541</link><guid>https://blog.youkuaiyun.com/panbaoran913/article/details/156569541</guid><author>panbaoran913</author><pubDate>Sun, 04 Jan 2026 15:44:18 +0800</pubDate><description><![CDATA[或者通过  “文件-设置-项目-python解释器” 查看到当前解析器为(ai-safety-gridworlds).并参看位置为C:Users\Admin\……与我们的jupyter的解析器D:env\……而pycharm中import pandas等进行报错，说明pycharm的配置环境与其是不同的。我们选择“添加解释器”–>"Vritualenv环境“–> “现有”。因为这个包是下载的且有设定配置的，并非是pycharm生成全新环境。在 解释器 一栏：选择D:\env……这种配置喜好文件删除。]]></description><category></category></item><item><title><![CDATA[【上海(2)】自行车数据协同路网、天气、区级数据解决问题--新手小白保姆级]]></title><link>https://blog.youkuaiyun.com/panbaoran913/article/details/156084482</link><guid>https://blog.youkuaiyun.com/panbaoran913/article/details/156084482</guid><author>panbaoran913</author><pubDate>Thu, 25 Dec 2025 19:36:29 +0800</pubDate><description><![CDATA[文章摘要 本文介绍共享单车数据分析的两个关键部分：站点流量统计和社区检测。首先通过3D柱状图可视化站点借还车频次，筛选特定区域数据展示地理分布。其次应用Louvain算法进行社区检测，包括数据预处理、图构建、社区分析和优化过程，最终识别出具有高内聚性的地理区域。文章详细展示了数据处理流程，包括孤立节点移除、异常数据处理，以及各阶段图结构的对比分析。完整代码见配套文件，实现了从原始数据到社区聚类可视化的完整分析链条。]]></description><category></category></item><item><title><![CDATA[【上海(1)】自行车数据协同路网、天气、区级数据解决问题--新手小白保姆级]]></title><link>https://blog.youkuaiyun.com/panbaoran913/article/details/156076295</link><guid>https://blog.youkuaiyun.com/panbaoran913/article/details/156076295</guid><author>panbaoran913</author><pubDate>Fri, 19 Dec 2025 12:09:18 +0800</pubDate><description><![CDATA[SHP格式是GIS中最常用的矢量数据交换格式，包含.shp（几何信息）、.shx（索引）和.dbf（属性）三个必需文件。Python可通过geopandas库读取SHP文件，并支持基于属性和空间关系的筛选操作（如within、intersects等）。以上海路网数据为例，演示了数据筛选、空间查询、可视化（含轨迹叠加）及保存为GeoJSON等操作流程。还展示了摩拜单车轨迹数据的解析方法，包括坐标点提取、LineString转换和静态/交互式可视化技巧，为地理空间数据分析提供了完整的技术路线。]]></description><category></category></item><item><title><![CDATA[【综精】Dynamic rebalancing optimization for bike-sharing systems: A modeling framework and empirical c]]></title><link>https://blog.youkuaiyun.com/panbaoran913/article/details/152086432</link><guid>https://blog.youkuaiyun.com/panbaoran913/article/details/152086432</guid><author>panbaoran913</author><pubDate>Wed, 12 Nov 2025 11:14:05 +0800</pubDate><description><![CDATA[基于站点的共享单车系统已在多个大城市实施，提供了一种低成本且环保的交通替代方式。为解决站点不平衡问题，运营商通常通过卡车重新调配自行车。由此产生的动态规划问题受到了运筹学界的广泛关注。由于其建模灵活性，混合整数规划仍然是一个受欢迎的选择。然而，这种复杂的规划问题需要进行大量简化才能获得计算上可行的模型。因此，现有模型在决策变量和约束方面使用了各种各样的建模假设和技术。不幸的是，这些假设对实际解决方案性能的影响总体上仍未得到充分探索。在本文中，我们首先系统地综述了关于再平衡问题及其建模假设的文献。]]></description><category></category></item><item><title><![CDATA[【精析】A Reinforcement Learning Approach for Dynamic Rebalancing in Bike-Sharing Systems]]></title><link>https://blog.youkuaiyun.com/panbaoran913/article/details/151405053</link><guid>https://blog.youkuaiyun.com/panbaoran913/article/details/151405053</guid><author>panbaoran913</author><pubDate>Thu, 25 Sep 2025 16:22:08 +0800</pubDate><description><![CDATA[本文提出一种基于强化学习的自行车共享系统动态再平衡方法。针对多车辆协同场景，构建了连续时间框架下的多智能体马尔可夫决策过程模型，避免了传统离散时间模型的同步限制。通过开发高真实度模拟器，采用深度Q网络算法估计价值函数，最小化需求损失。实验表明，该算法在60个站点的网络下，相比混合整数规划基准可减少27.12%的需求损失，且决策速度达毫秒级，适用于实时应用。研究为智能城市交通提供了强化学习集成的新思路。]]></description><category></category></item><item><title><![CDATA[【简】深度强化学习理论及其应用综述]]></title><link>https://blog.youkuaiyun.com/panbaoran913/article/details/151834717</link><guid>https://blog.youkuaiyun.com/panbaoran913/article/details/151834717</guid><author>panbaoran913</author><pubDate>Thu, 18 Sep 2025 17:28:42 +0800</pubDate><description><![CDATA[方面,随着深度强化学习理论和应用研究不断深入,其在游戏、机器人控制、对话系统、自动驾驶等领域发挥重要作用;另一方面,深度强化学习受到探索-利用困境、奖励稀疏、样本采集困难、稳定性较差等问题的限制,存在很多不足. 面对这些问题,研究者们提出各种各样的解决方法,新的理论进一步推动深度强化学习的发展,在弥补缺陷的同时扩展强化学习的研究领域,延伸出模仿学习、分层强化学习、元学习等新的研究方向. 文中从深度强化学习的理论、困难、应用及发展前景等方面对其进行探讨.]]></description><category></category></item><item><title><![CDATA[【综析】强化学习稀疏奖励算法研究——理论与实验]]></title><link>https://blog.youkuaiyun.com/panbaoran913/article/details/151766723</link><guid>https://blog.youkuaiyun.com/panbaoran913/article/details/151766723</guid><author>panbaoran913</author><pubDate>Thu, 18 Sep 2025 00:43:55 +0800</pubDate><description><![CDATA[通过表 2总结了实验实现的 6 类算法的代表性算法在稀疏奖励问题中的表现，相比于 DDPG均有显著提升。]]></description><category></category></item><item><title><![CDATA[DQN在稀疏奖励中的局限性]]></title><link>https://blog.youkuaiyun.com/panbaoran913/article/details/151766377</link><guid>https://blog.youkuaiyun.com/panbaoran913/article/details/151766377</guid><author>panbaoran913</author><pubDate>Tue, 16 Sep 2025 23:07:10 +0800</pubDate><description><![CDATA[本文探讨了DQN在稀疏奖励环境中的局限性及改进方法。研究表明，传统DQN在稀疏奖励场景下存在收敛困难和探索失效问题，导致学习效率低下。针对这些问题，提出了四种核心解决方案：奖励塑形通过设计中间奖励引导智能体；内在好奇心机制赋予探索行为内在奖励；分层强化学习将任务分解为子任务；架构改进采用Dueling DQN等混合算法。研究还发现，结合特征提取增强、混合探索策略和元学习辅助，可有效应对高维状态空间的挑战。这些方法为解决稀疏奖励环境下的强化学习问题提供了重要思路。]]></description><category></category></item><item><title><![CDATA[DQN内存泄露]]></title><link>https://blog.youkuaiyun.com/panbaoran913/article/details/151759302</link><guid>https://blog.youkuaiyun.com/panbaoran913/article/details/151759302</guid><author>panbaoran913</author><pubDate>Tue, 16 Sep 2025 18:51:21 +0800</pubDate><description><![CDATA[摘要：DQN训练过程中存在内存使用量线性增长的异常现象，即使Replay Buffer达到预设容量后内存仍持续攀升，可能导致OOM错误。该问题在经典CartPole环境中也被复现，表现为内存远超Buffer容量限制的线性增长趋势。根本原因可能在于Replay Buffer内部数据结构或管理机制存在缺陷，理想状态下Buffer充满后应保持固定内存占用，但实际运行中&quot;充满&quot;不等于内存稳定。这将对长时间大规模训练任务产生严重影响，需通过优化Buffer实现或采用监控工具来预防和解决该内存泄漏问]]></description><category></category></item><item><title><![CDATA[[旧]Markov Decision Processes: A Tool for Sequential Decision Making under Uncertainty]]></title><link>https://blog.youkuaiyun.com/panbaoran913/article/details/151328592</link><guid>https://blog.youkuaiyun.com/panbaoran913/article/details/151328592</guid><author>panbaoran913</author><pubDate>Mon, 08 Sep 2025 19:13:54 +0800</pubDate><description><![CDATA[摘要：本文介绍了马尔可夫决策过程（MDP）在医疗决策中的应用，通过比较MDP与传统决策分析方法在活体肝移植最佳时机问题上的表现。研究表明，MDP不仅能更高效地求解最优策略（计算时间显著少于传统方法），还能处理序列决策中的不确定性。文章阐述了MDP的核心概念、求解方法（后向归纳法、价值迭代和策略迭代）及其在医疗领域的潜力，强调其在处理复杂临床决策问题时的优势。案例显示MDP与传统方法得出的最优移植策略和预期寿命结果一致。]]></description><category></category></item><item><title><![CDATA[[精析]Dual Policy Reinforcement Learning for Real-time Rebalancing in Bike-sharing Systems]]></title><link>https://blog.youkuaiyun.com/panbaoran913/article/details/150929972</link><guid>https://blog.youkuaiyun.com/panbaoran913/article/details/150929972</guid><author>panbaoran913</author><pubDate>Thu, 28 Aug 2025 01:51:49 +0800</pubDate><description><![CDATA[本文提出了一种双策略强化学习算法（DPRL）来解决共享单车系统的实时再平衡问题。该方法创新性地将库存决策和路径决策解耦，采用基于DQN的双重策略框架分别处理这两个子问题，以更准确地捕捉系统动态变化并最小化需求损失。研究通过多智能体马尔可夫决策过程建模，并在考虑时间和天气因素的实际数据集上进行实验验证。结果表明，DPRL算法显著优于传统的混合整数规划模型和单一策略强化学习方法，为城市交通优化提供了新思路。该方法不仅提高了共享单车系统的运营效率，也为解决其他类似动态规划问题提供了参考。]]></description><category></category></item><item><title><![CDATA[【论】Trajectory Forecasts in Unknown Environments Conditioned on Grid-Based Plans]]></title><link>https://blog.youkuaiyun.com/panbaoran913/article/details/150881293</link><guid>https://blog.youkuaiyun.com/panbaoran913/article/details/150881293</guid><author>panbaoran913</author><pubDate>Wed, 27 Aug 2025 00:49:22 +0800</pubDate><description><![CDATA[本文提出了一种基于网格规划的未知环境轨迹预测方法P2T，通过最大熵逆强化学习(MaxEnt IRL)学习场景中的奖励函数，并联合推断行人和车辆的潜在目标及路径。该方法包含三个核心模块：全卷积奖励模型、MaxEnt策略采样器和基于注意力的轨迹生成器。实验表明，在斯坦福无人机和NuScenes数据集上，P2T能生成多样化的预测轨迹，准确反映多模态分布，并保持与场景结构的一致性。相比现有方法，P2T在长时预测和场景适应性方面表现更优，为自动驾驶中的轨迹预测提供了新思路。]]></description><category></category></item><item><title><![CDATA[【普】人机协同决策的异质多智能体路径规划]]></title><link>https://blog.youkuaiyun.com/panbaoran913/article/details/149472641</link><guid>https://blog.youkuaiyun.com/panbaoran913/article/details/149472641</guid><author>panbaoran913</author><pubDate>Sun, 20 Jul 2025 01:17:23 +0800</pubDate><description><![CDATA[本文提出了一种融合混合现实（MR）与人机协同决策（HMCDM）的异质多智能体路径规划方法HMATD3，以解决复杂动态环境中异质智能体的协同导航问题。方法包含三个关键模块：1）基于危险度的离线规划，通过改进A*算法的启发式函数降低碰撞风险；2）基于深度强化学习（DRL）的在线规划，采用改进的MATD3算法实现动态避障；3）人机协同决策模块，通过MR技术将人类专家经验融入路径修正过程。实验表明，该方法能有效处理智能体异质性，提升路径安全性和实用性，其中奖励函数设计结合了路径危险度和RVO避障策略，解决了DRL的]]></description><category></category></item><item><title><![CDATA[【精】Generating Adjacency-Constrained Subgoals in Hierarchical Reinforcement Learning]]></title><link>https://blog.youkuaiyun.com/panbaoran913/article/details/149442796</link><guid>https://blog.youkuaiyun.com/panbaoran913/article/details/149442796</guid><author>panbaoran913</author><pubDate>Fri, 18 Jul 2025 14:14:59 +0800</pubDate><description><![CDATA[本文提出了一种基于邻接约束的分层强化学习方法（HRAC），通过将高层动作空间限制在当前状态的k步邻域区域，有效解决了目标条件化HRL中训练效率低下的问题。理论分析表明，在确定性MDP中，邻接约束能保持最优分层策略，且可通过邻接网络实现。实验在离散和连续控制任务上验证了HRAC的有效性，相比HIRO等基线方法，在Key Chest、Maze等任务中表现更优。该方法通过参数化近似最短转移距离，结合对比学习训练邻接网络，为HRL提供了一种高效的目标生成机制。]]></description><category></category></item><item><title><![CDATA[【析精】Landmark-Guided Subgoal Generation in Hierarchical Reinforcement Learning]]></title><link>https://blog.youkuaiyun.com/panbaoran913/article/details/149409038</link><guid>https://blog.youkuaiyun.com/panbaoran913/article/details/149409038</guid><author>panbaoran913</author><pubDate>Thu, 17 Jul 2025 18:49:27 +0800</pubDate><description><![CDATA[面对状态多变任务复杂奖励稀疏的环境，HRL是一个不错的选择。面对上层网络需要为下层网络输出子目标。因为会有了一个V（状态，子目标）的价值函数用于评估子目标的好坏。其次子目标的是如何设定的呢？在本文中根据覆盖度和新颖度设计了一批“地标“，也可以看作是子目标的候选集。通过最短路径的方法，获得最紧急而非距离最近的地标点，记为$l_t^{sel}$.它可能距离当前状态过远，直接作为子目标会导致低层策略难以达成。生成伪地标 $g_t^{pseudo}$，将其投影到当前状态的邻域.

策略模型分为高层策略和低层策略。两]]></description><category></category></item><item><title><![CDATA[[析]Deep reinforcement learning for drone navigation using sensor data]]></title><link>https://blog.youkuaiyun.com/panbaoran913/article/details/149370281</link><guid>https://blog.youkuaiyun.com/panbaoran913/article/details/149370281</guid><author>panbaoran913</author><pubDate>Wed, 16 Jul 2025 22:35:17 +0800</pubDate><description><![CDATA[MDP无记忆性，使用LSTM补足缺点。PPO解决新旧策略差距大的问题。

对于环境中的障碍物，设置增量课程，障碍物由1—>32.使用了PPO8, PPO16, PPO，和启发式算法(基准)作对比实验。PPO8和PPO16在训练初期学习速度较慢，但后期表现更稳定。随着训练进行，PPO8和PPO16的性能逐渐超越PPO，表明记忆机制的有效性。
LSTM的时间步数为4or8。输入一个长度为n的状态序列。每步的状态为[时间，障碍物信息，距离dx, dy]。LSTM输出的是策略(即 【动作，概率】)，LSTM的优化不]]></description><category></category></item></channel></rss>