panbaoran913的博客

本篇论文评估：用GAT建立图结构，用GNN抓取信息，用DQN获得动作选择。说是多智能体，但本质上是单智能体的。但是提供很好了状态向量空间的搭建方法。优点是面对不确定性，采用期望loss值的方法。电动汽车的普及，不仅改变了我们的出行方式，更深刻地重塑着电力系统和交通网络的交互模式。如何高效、智能地协同管理这个融合网络，是当前亟待解决的关键问题。

本文提出了一种在强化学习中实现时间抽象的方法，通过引入"选项"(Options)概念来扩展马尔可夫决策过程(MDP)框架。选项是包含策略、终止条件和启动集的三要素封装，能够表示持续一段时间的行动序列。研究发现，定义在MDP上的选项集合构成半马尔科夫决策过程(SMDP)，但最有趣的问题在于底层MDP与SMDP的交互。论文展示了三个关键应用：通过中断选项改进规划效果，开发从执行片段学习选项的新方法，以及利用子目标优化选项。这些成果在不依赖特定状态抽象或层次结构的前提下，为强化学习提供了更灵活

S：状态集合。A：动作集合。P：状态转移概率，表示从状态 s 执行动作 a 转移到状态 s′ 的概率。T：动作的停留时间分布，表示动作持续的时间步数。R：奖励函数，表示在状态 s 执行动作 a 获得的即时奖励。

Q表格、Q网络与策略函数Q表格是有限的离散的，而神经网络可以是无限的。对于动作有限的智能体来说，使用Q网络获得当下状态的对于每个动作的状态-动作值。那么arg max⁡Qas;θabest​,那么我们对当前的状态s,会有一个最佳的选择abesta_{best}abest​,选择的依据是策略θ\thetaθ. 我们的目标是获得最优的策略θ∗\theta^*θ∗.即优化θ\thetaθ。