4、分布式优化与多智能体决策

分布式优化与多智能体决策

在分布式优化的领域中，有多种重要的算法和方法，它们在不同的场景下发挥着关键作用。下面将详细介绍 LRTA* 算法、多智能体马尔可夫决策过程（MDP）中的动作选择以及基于合同网和拍卖的优化方法。

1. LRTA* 算法

LRTA （Learning Real - Time A ）是一种用于路径搜索的算法。在使用该算法时，需要满足一些假设条件：
- 权重为非负，可通过设置所有节点的 $h(i) = 0$ 来确保可采纳性，不过利用问题领域知识构建的不那么保守的可采纳启发式函数能加快收敛到最优解的速度。
- 图中每个节点到目标节点都存在路径。

LRTA 算法具有以下特性：
- h 值不减小且保持可采纳性 ：在算法执行过程中，$h$ 值不会变小，始终满足可采纳性的要求。
- 算法终止 ：从起始节点到目标节点的完整执行过程称为一次试验（trial），算法最终会终止。
- 多次试验找到最短路径 ：如果在多次试验中保持 $h$ 值不变，最终能找到从起始节点到目标节点的最短路径。
- 连续两次试验路径相同则为最短路径 ：若 LRTA 在连续两次试验中找到相同的路径，那么这条路径就是最短路径，但在连续两次找到之前，可能在之前的某次试验中就已经找到过。

LRTA 原本是一个集中式过程，但也可以由多个智能体执行（记为 LRTA (n)）。多个智能体执行时，算法的