多智能体学习:概念、算法与成果
1. 多智能体学习基础
多智能体学习(MAL)指的是多个智能体同时进行学习的场景,通常在博弈论的框架下,特别是在重复博弈或随机博弈中进行定义。与单智能体学习不同,MAL中一个智能体的学习会影响其他智能体的学习,这使得MAL的问题定义和算法不能简单地从单智能体情况推导得出。
MAL在博弈论领域有着悠久的历史,近年来人工智能领域也开始广泛关注。尽管人工智能和博弈论的文献有所区别,但共同点大于差异,MAL如今是计算机科学和博弈论之间最具成果的交叉领域之一。
2. 随机博弈基础
我们的讨论将基于随机博弈(又称马尔可夫博弈)的形式化设定,大部分MAL文献都采用了这个设定,且很多聚焦于更狭义的重复博弈。随机博弈可以表示为一个元组 ((N, S, E_A, E_R, T)):
- (N):一组智能体,索引为 (1, \cdots, n)。
- (S):一组 (n) 智能体阶段博弈。
- (E_A = A_1, \cdots, A_n),其中 (A_i) 是智能体 (i) 的行动(或纯策略)集合。
- (E_R = R_1, \cdots, R_n),其中 (R_i: S \times E_A \to \mathbb{R}) 给出了智能体 (i) 在阶段博弈 (S) 中的即时奖励函数。
- (T: S \times E_A \to \Pi(S)):随机转移函数,根据当前博弈和采取的行动指定下一个阶段博弈的概率。
对于每个智能体,需要定义一种方法来聚合在每个状态中获得的即时奖励集合。对于有限重复博弈,可以使用总和或平均值;对于无限博弈,最常见的方法是使用极限平均或贴现奖励之和 (\sum_{t = 1}^{\infty} \delta^t r_t),其中 (r_t) 是在时间 (t) 收到的奖励。
重复博弈是只有一个阶段博弈的随机博弈,而马尔可夫决策过程(MDP)是只有一个智能体的随机博弈。
3. 随机博弈中的学习内容
在随机博弈中,有几个方面需要明确:智能体是否知道随机博弈,包括阶段博弈和转移概率;是否知道每个阶段正在进行的具体博弈,还是只知道可用的行动;在每个阶段博弈结束后能看到什么,是自己的奖励,还是其他智能体的行动;是否能看到其他智能体的混合策略等。
我们主要关注已知、完全可观察的博弈,其中其他智能体的策略事先未知(尽管在某些情况下有先验分布)。在这个受限的设定下,有两种可能的学习内容:
- 学习对手的策略,以便制定最佳(或至少是良好)的应对策略。
- 学习自己的策略,使其在对抗对手时表现良好,而无需明确学习对手的策略。前者有时称为基于模型的学习,后者称为无模型学习。
4. MAL研究的不同目标
当研究MAL文献时,可以识别出几个不同的研究目标,它们各自有明确的动机和成功标准:
| 目标类型 | 具体描述 |
| — | — |
| 计算型 | 将学习算法视为迭代计算博弈属性(如解概念)的方法。例如,虚构博弈最初用于计算零和博弈的样本纳什均衡,复制动态用于计算对称博弈的样本纳什均衡。 |
| 描述型 | 研究自然智能体在其他学习者环境中的学习方式,目标是研究与人们(通常在实验室实验中)或其他智能体(如动物或组织)行为相符的学习形式模型。 |
| 规范型 | 确定哪些学习规则集相互处于均衡状态。例如,询问虚构博弈和Q学习在适当初始化后,在重复囚徒困境博弈中是否相互处于均衡状态。 |
| 规定型 - 合作 | 涉及动态系统中的分布式控制,需要分散控制动态环境中的系统,局部控制器必须相互适应。通常建模为重复或随机的共同收益(或“团队”)博弈。 |
| 规定型 - 非合作 | 研究智能体在重复(更一般地,随机)博弈中应如何行动以获得高奖励,保留了人工智能的设计立场,目标是为给定环境设计最优(或至少有效)的智能体。 |
5. 部分MAL技术
我们将讨论三类技术,分别代表博弈论、人工智能和两个领域都关注的方法。
5.1 基于模型的方法
这是博弈论文献中常见的方法,采用以下一般方案:
1. 建立对手策略的模型。
2. 计算并执行最佳响应。
3. 观察对手的行动并更新对手策略的模型。
4. 回到步骤2。
虚构博弈是这种方案的早期且著名的实例,模型只是对手过去行动的计数,假设对手采用固定策略,观察到的频率代表对手的混合策略。还有许多变体,例如在步骤2中不执行精确的最佳响应,而是为每个纯策略分配一个概率,最佳响应概率最高,但允许有机会执行其他策略,如平滑虚构博弈和指数虚构博弈。
理性学习是更复杂的版本,模型是重复博弈策略的分布,从先验分布开始,每次博弈后通过贝叶斯条件更新模型。
graph TD;
A[建立对手策略模型] --> B[计算并执行最佳响应];
B --> C[观察对手行动];
C --> D[更新对手策略模型];
D --> B;
5.2 无模型方法
这是人工智能文献中常用的方法,避免建立对手策略的显式模型,而是随着时间学习自己各种可能行动的效果。大部分方法源于贝尔曼方程,以单智能体Q学习算法为例:
Q(s, a) ← (1 - α_t)Q(s, a) + α_t[R(s, a) + γV(s')]
V(s) ← max_{a∈A} Q(s, a)
在多智能体随机博弈中,可将Q学习算法扩展,让每个智能体忽略其他智能体,假装环境是被动的:
Q_i(s, a_i) ← (1 - α_t)Q_i(s, a_i) + α_t[R_i(s, a) + γV_i(s')]
V_i(s) ← max_{a_i∈A_i} Q_i(s, a_i)
然而,这种方法完全忽略了多智能体环境的本质,Q值更新时不考虑其他智能体的行动。改进方法是将Q值定义为所有智能体行动的函数:
Q_i(s, a) ← (1 - α)Q_i(s, a) + α[R_i(s, a) + γV_i(s')]
对于零和随机博弈,最小最大Q学习算法通过Q值的最小最大值更新 (V):
V_1(s) = max_{P_1∈Π(A_1)} min_{a_2∈A_2} ∑_{a_1∈A_1} P_1(a_1) Q_1(s, (a_1, a_2))
后续工作针对共同收益博弈提出了其他更新规则,零和和共同收益博弈的研究仍在不断完善和扩展,但将“贝尔曼传统”扩展到一般和博弈的结果不太确定。
5.3 后悔最小化方法
无悔学习是一个有趣的例子,它有独特的性质,且人工智能和博弈论社区都独立关注到了它。基本思想可以追溯到20世纪50年代中期关于如何评估学习规则成功的早期工作,多年来在不同名称下被多次扩展和重新发现。
定义智能体 (i) 选择行动序列 (s_i) 而不是行动 (a_j) 的后悔 (r_t^i(a_j, s_i|s_{-i})) 为:
r_t^i(a_j, s_i|s_{-i}) = ∑_{k = 1}^{t} [R(a_j, s_k_{-i}) - R(s_k_i, s_k_{-i})]
智能体在每个时间步 (t + 1) 以与 (max{r_t^i(a_j, s_i), 0}) 成比例的概率选择每个行动。
6. 部分典型结果
关于上述学习算法及类似算法的文献中,至少可以看到三种类型的结果:
-
策略配置收敛到阶段博弈的均衡
:例如,虚构博弈虽然一般不会收敛到阶段博弈的纳什均衡,但在零和博弈、具有一般收益的 (2 \times 2) 博弈或可通过迭代消除严格占优策略求解的博弈中,其博弈分布可以收敛到均衡。在人工智能中,最小最大Q学习被证明在任何零和博弈中收敛到正确的Q值,保证在自博弈中收敛到纳什均衡。
-
成功学习对手的策略
:理性学习是这类结果的例子,收敛到对对手重复博弈策略的正确信念,因此在极限情况下,智能体将收敛到重复博弈的纳什均衡。但收敛依赖于绝对连续性的强假设,且收敛的信念仅在智能体策略可观察的历史方面是正确的。
-
获得超过指定阈值的收益
:无悔学习文献提供了这类结果的例子,并且对评估学习规则的标准最为明确。例如,提出的一对标准是:学习规则应是“安全的”,即必须保证至少获得博弈的最小最大收益;学习规则应是“一致的”,即必须保证至少与对经验分布的最佳响应一样好。
多智能体学习:概念、算法与成果(续)
7. 不同类型结果的具体分析
为了更清晰地理解这三种类型的结果,我们进一步详细分析。
7.1 策略配置收敛到阶段博弈的均衡
| 算法 | 适用博弈类型 | 收敛情况 |
|---|---|---|
| 虚构博弈 | 零和博弈、(2 \times 2) 具有一般收益的博弈、可通过迭代消除严格占优策略求解的博弈 | 分布收敛到均衡 |
| 最小最大Q学习 | 任何零和博弈 | 收敛到正确的Q值,保证在自博弈中收敛到纳什均衡 |
这种收敛结果在理论和实践中都具有重要意义。在理论上,它为博弈的稳定性和可预测性提供了依据;在实践中,例如在一些竞争环境中,可以帮助智能体更好地预测对手的行为,从而制定更有效的策略。
7.2 成功学习对手的策略
理性学习虽然能够收敛到对对手重复博弈策略的正确信念,但存在一定的局限性。
graph TD;
A[理性学习] --> B[收敛到正确信念];
B --> C[智能体收敛到纳什均衡];
D[强假设 - 绝对连续性] --> A;
E[可观察历史方面正确] --> B;
这种局限性使得理性学习在实际应用中需要谨慎考虑。例如,在一些复杂的动态环境中,绝对连续性的假设可能很难满足,从而影响学习效果。
7.3 获得超过指定阈值的收益
无悔学习的标准“安全”和“一致”为评估学习规则提供了明确的方向。
| 标准 | 具体含义 |
|---|---|
| 安全 | 保证至少获得博弈的最小最大收益 |
| 一致 | 保证至少与对经验分布的最佳响应一样好 |
这些标准有助于筛选出更有效的学习规则,在实际应用中,例如在资源分配等问题中,可以帮助智能体在保证一定收益的前提下,尽可能地提高收益水平。
8. 不同方法的优缺点对比
| 方法类型 | 优点 | 缺点 |
|---|---|---|
| 基于模型的方法 | 能够明确对手策略,便于制定针对性策略 | 对对手策略的初始模型依赖较大,更新模型可能复杂 |
| 无模型方法 | 无需明确对手策略,适应性较强 | 忽略多智能体环境本质时效果不佳,扩展到一般和博弈结果不确定 |
| 后悔最小化方法 | 有独特性质,受到两个领域关注 | 具体应用中概率分配可能较复杂 |
通过对比不同方法的优缺点,可以根据具体的应用场景选择合适的方法。例如,在对手策略相对稳定且可观察的情况下,可以选择基于模型的方法;在对手策略复杂多变的情况下,无模型方法可能更合适。
9. 实际应用案例分析
以下通过两个实际应用案例来进一步说明多智能体学习的应用。
9.1 智能交通系统
在智能交通系统中,多个智能车辆可以看作是多个智能体。
graph LR;
A[车辆A] --> B[观察其他车辆行动];
C[车辆B] --> B;
D[车辆C] --> B;
B --> E[更新自身策略];
E --> F[调整行驶行为];
车辆可以采用无模型方法,根据自身的行驶经验和周围车辆的行驶情况,不断调整自己的行驶速度、车道选择等策略,以提高整个交通系统的效率和安全性。
9.2 供应链管理
在供应链管理中,供应商、制造商和零售商等可以看作是多个智能体。
| 智能体 | 学习目标 | 采用方法 |
|---|---|---|
| 供应商 | 优化供货策略,满足需求同时降低成本 | 基于模型的方法,学习制造商和零售商的需求模式 |
| 制造商 | 合理安排生产计划,提高生产效率 | 无模型方法,根据市场需求和供应情况调整生产 |
| 零售商 | 优化库存管理和销售策略 | 后悔最小化方法,减少库存积压和缺货损失 |
通过多智能体学习,各个环节的智能体可以相互协作,提高整个供应链的效率和竞争力。
10. 未来发展趋势展望
随着技术的不断发展,多智能体学习将在更多领域得到应用,并且会有以下发展趋势。
- 与其他技术的融合 :例如与深度学习、强化学习等技术的融合,提高智能体的学习能力和决策能力。
- 处理更复杂的环境 :面对更加复杂的动态环境,如大规模网络、分布式系统等,多智能体学习需要不断改进算法和模型。
- 强调合作与协调 :在实际应用中,智能体之间的合作与协调将变得更加重要,需要研究更有效的合作机制和协调策略。
多智能体学习作为一个具有广泛应用前景的领域,将在未来的科技发展中发挥重要作用。我们需要不断深入研究和探索,以推动其在各个领域的应用和发展。
4150



被折叠的 条评论
为什么被折叠?



