100、多智能体学习:概念、算法与成果

多智能体学习:概念、算法与成果

1. 多智能体学习基础

多智能体学习(MAL)指的是多个智能体同时进行学习的场景,通常在博弈论的框架下,特别是在重复博弈或随机博弈中进行定义。与单智能体学习不同,MAL中一个智能体的学习会影响其他智能体的学习,这使得MAL的问题定义和算法不能简单地从单智能体情况推导得出。

MAL在博弈论领域有着悠久的历史,近年来人工智能领域也开始广泛关注。尽管人工智能和博弈论的文献有所区别,但共同点大于差异,MAL如今是计算机科学和博弈论之间最具成果的交叉领域之一。

2. 随机博弈基础

我们的讨论将基于随机博弈(又称马尔可夫博弈)的形式化设定,大部分MAL文献都采用了这个设定,且很多聚焦于更狭义的重复博弈。随机博弈可以表示为一个元组 ((N, S, E_A, E_R, T)):
- (N):一组智能体,索引为 (1, \cdots, n)。
- (S):一组 (n) 智能体阶段博弈。
- (E_A = A_1, \cdots, A_n),其中 (A_i) 是智能体 (i) 的行动(或纯策略)集合。
- (E_R = R_1, \cdots, R_n),其中 (R_i: S \times E_A \to \mathbb{R}) 给出了智能体 (i) 在阶段博弈 (S) 中的即时奖励函数。
- (T: S \times E_A \to \Pi(S)):随机转移函数,根据当前博弈和采取的行动指定下一个阶段博弈的概率。

对于每个智能体,需要定义一种方法来聚合在每个状态中获得的即时奖励集合。对于有限重复博弈,可以使用总和或平均值;对于无限博弈,最常见的方法是使用极限平均或贴现奖励之和 (\sum_{t = 1}^{\infty} \delta^t r_t),其中 (r_t) 是在时间 (t) 收到的奖励。

重复博弈是只有一个阶段博弈的随机博弈,而马尔可夫决策过程(MDP)是只有一个智能体的随机博弈。

3. 随机博弈中的学习内容

在随机博弈中,有几个方面需要明确:智能体是否知道随机博弈,包括阶段博弈和转移概率;是否知道每个阶段正在进行的具体博弈,还是只知道可用的行动;在每个阶段博弈结束后能看到什么,是自己的奖励,还是其他智能体的行动;是否能看到其他智能体的混合策略等。

我们主要关注已知、完全可观察的博弈,其中其他智能体的策略事先未知(尽管在某些情况下有先验分布)。在这个受限的设定下,有两种可能的学习内容:
- 学习对手的策略,以便制定最佳(或至少是良好)的应对策略。
- 学习自己的策略,使其在对抗对手时表现良好,而无需明确学习对手的策略。前者有时称为基于模型的学习,后者称为无模型学习。

4. MAL研究的不同目标

当研究MAL文献时,可以识别出几个不同的研究目标,它们各自有明确的动机和成功标准:
| 目标类型 | 具体描述 |
| — | — |
| 计算型 | 将学习算法视为迭代计算博弈属性(如解概念)的方法。例如,虚构博弈最初用于计算零和博弈的样本纳什均衡,复制动态用于计算对称博弈的样本纳什均衡。 |
| 描述型 | 研究自然智能体在其他学习者环境中的学习方式,目标是研究与人们(通常在实验室实验中)或其他智能体(如动物或组织)行为相符的学习形式模型。 |
| 规范型 | 确定哪些学习规则集相互处于均衡状态。例如,询问虚构博弈和Q学习在适当初始化后,在重复囚徒困境博弈中是否相互处于均衡状态。 |
| 规定型 - 合作 | 涉及动态系统中的分布式控制,需要分散控制动态环境中的系统,局部控制器必须相互适应。通常建模为重复或随机的共同收益(或“团队”)博弈。 |
| 规定型 - 非合作 | 研究智能体在重复(更一般地,随机)博弈中应如何行动以获得高奖励,保留了人工智能的设计立场,目标是为给定环境设计最优(或至少有效)的智能体。 |

5. 部分MAL技术

我们将讨论三类技术,分别代表博弈论、人工智能和两个领域都关注的方法。

5.1 基于模型的方法

这是博弈论文献中常见的方法,采用以下一般方案:
1. 建立对手策略的模型。
2. 计算并执行最佳响应。
3. 观察对手的行动并更新对手策略的模型。
4. 回到步骤2。

虚构博弈是这种方案的早期且著名的实例,模型只是对手过去行动的计数,假设对手采用固定策略,观察到的频率代表对手的混合策略。还有许多变体,例如在步骤2中不执行精确的最佳响应,而是为每个纯策略分配一个概率,最佳响应概率最高,但允许有机会执行其他策略,如平滑虚构博弈和指数虚构博弈。

理性学习是更复杂的版本,模型是重复博弈策略的分布,从先验分布开始,每次博弈后通过贝叶斯条件更新模型。

graph TD;
    A[建立对手策略模型] --> B[计算并执行最佳响应];
    B --> C[观察对手行动];
    C --> D[更新对手策略模型];
    D --> B;
5.2 无模型方法

这是人工智能文献中常用的方法,避免建立对手策略的显式模型,而是随着时间学习自己各种可能行动的效果。大部分方法源于贝尔曼方程,以单智能体Q学习算法为例:

Q(s, a) ← (1 - α_t)Q(s, a) + α_t[R(s, a) + γV(s')]
V(s) ← max_{a∈A} Q(s, a)

在多智能体随机博弈中,可将Q学习算法扩展,让每个智能体忽略其他智能体,假装环境是被动的:

Q_i(s, a_i) ← (1 - α_t)Q_i(s, a_i) + α_t[R_i(s, a) + γV_i(s')]
V_i(s) ← max_{a_i∈A_i} Q_i(s, a_i)

然而,这种方法完全忽略了多智能体环境的本质,Q值更新时不考虑其他智能体的行动。改进方法是将Q值定义为所有智能体行动的函数:

Q_i(s, a) ← (1 - α)Q_i(s, a) + α[R_i(s, a) + γV_i(s')] 

对于零和随机博弈,最小最大Q学习算法通过Q值的最小最大值更新 (V):

V_1(s) = max_{P_1∈Π(A_1)} min_{a_2∈A_2} ∑_{a_1∈A_1} P_1(a_1) Q_1(s, (a_1, a_2))

后续工作针对共同收益博弈提出了其他更新规则,零和和共同收益博弈的研究仍在不断完善和扩展,但将“贝尔曼传统”扩展到一般和博弈的结果不太确定。

5.3 后悔最小化方法

无悔学习是一个有趣的例子,它有独特的性质,且人工智能和博弈论社区都独立关注到了它。基本思想可以追溯到20世纪50年代中期关于如何评估学习规则成功的早期工作,多年来在不同名称下被多次扩展和重新发现。

定义智能体 (i) 选择行动序列 (s_i) 而不是行动 (a_j) 的后悔 (r_t^i(a_j, s_i|s_{-i})) 为:

r_t^i(a_j, s_i|s_{-i}) = ∑_{k = 1}^{t} [R(a_j, s_k_{-i}) - R(s_k_i, s_k_{-i})]

智能体在每个时间步 (t + 1) 以与 (max{r_t^i(a_j, s_i), 0}) 成比例的概率选择每个行动。

6. 部分典型结果

关于上述学习算法及类似算法的文献中,至少可以看到三种类型的结果:
- 策略配置收敛到阶段博弈的均衡 :例如,虚构博弈虽然一般不会收敛到阶段博弈的纳什均衡,但在零和博弈、具有一般收益的 (2 \times 2) 博弈或可通过迭代消除严格占优策略求解的博弈中,其博弈分布可以收敛到均衡。在人工智能中,最小最大Q学习被证明在任何零和博弈中收敛到正确的Q值,保证在自博弈中收敛到纳什均衡。
- 成功学习对手的策略 :理性学习是这类结果的例子,收敛到对对手重复博弈策略的正确信念,因此在极限情况下,智能体将收敛到重复博弈的纳什均衡。但收敛依赖于绝对连续性的强假设,且收敛的信念仅在智能体策略可观察的历史方面是正确的。
- 获得超过指定阈值的收益 :无悔学习文献提供了这类结果的例子,并且对评估学习规则的标准最为明确。例如,提出的一对标准是:学习规则应是“安全的”,即必须保证至少获得博弈的最小最大收益;学习规则应是“一致的”,即必须保证至少与对经验分布的最佳响应一样好。

多智能体学习:概念、算法与成果(续)

7. 不同类型结果的具体分析

为了更清晰地理解这三种类型的结果,我们进一步详细分析。

7.1 策略配置收敛到阶段博弈的均衡
算法 适用博弈类型 收敛情况
虚构博弈 零和博弈、(2 \times 2) 具有一般收益的博弈、可通过迭代消除严格占优策略求解的博弈 分布收敛到均衡
最小最大Q学习 任何零和博弈 收敛到正确的Q值,保证在自博弈中收敛到纳什均衡

这种收敛结果在理论和实践中都具有重要意义。在理论上,它为博弈的稳定性和可预测性提供了依据;在实践中,例如在一些竞争环境中,可以帮助智能体更好地预测对手的行为,从而制定更有效的策略。

7.2 成功学习对手的策略

理性学习虽然能够收敛到对对手重复博弈策略的正确信念,但存在一定的局限性。

graph TD;
    A[理性学习] --> B[收敛到正确信念];
    B --> C[智能体收敛到纳什均衡];
    D[强假设 - 绝对连续性] --> A;
    E[可观察历史方面正确] --> B;

这种局限性使得理性学习在实际应用中需要谨慎考虑。例如,在一些复杂的动态环境中,绝对连续性的假设可能很难满足,从而影响学习效果。

7.3 获得超过指定阈值的收益

无悔学习的标准“安全”和“一致”为评估学习规则提供了明确的方向。

标准 具体含义
安全 保证至少获得博弈的最小最大收益
一致 保证至少与对经验分布的最佳响应一样好

这些标准有助于筛选出更有效的学习规则,在实际应用中,例如在资源分配等问题中,可以帮助智能体在保证一定收益的前提下,尽可能地提高收益水平。

8. 不同方法的优缺点对比
方法类型 优点 缺点
基于模型的方法 能够明确对手策略,便于制定针对性策略 对对手策略的初始模型依赖较大,更新模型可能复杂
无模型方法 无需明确对手策略,适应性较强 忽略多智能体环境本质时效果不佳,扩展到一般和博弈结果不确定
后悔最小化方法 有独特性质,受到两个领域关注 具体应用中概率分配可能较复杂

通过对比不同方法的优缺点,可以根据具体的应用场景选择合适的方法。例如,在对手策略相对稳定且可观察的情况下,可以选择基于模型的方法;在对手策略复杂多变的情况下,无模型方法可能更合适。

9. 实际应用案例分析

以下通过两个实际应用案例来进一步说明多智能体学习的应用。

9.1 智能交通系统

在智能交通系统中,多个智能车辆可以看作是多个智能体。

graph LR;
    A[车辆A] --> B[观察其他车辆行动];
    C[车辆B] --> B;
    D[车辆C] --> B;
    B --> E[更新自身策略];
    E --> F[调整行驶行为];

车辆可以采用无模型方法,根据自身的行驶经验和周围车辆的行驶情况,不断调整自己的行驶速度、车道选择等策略,以提高整个交通系统的效率和安全性。

9.2 供应链管理

在供应链管理中,供应商、制造商和零售商等可以看作是多个智能体。

智能体 学习目标 采用方法
供应商 优化供货策略,满足需求同时降低成本 基于模型的方法,学习制造商和零售商的需求模式
制造商 合理安排生产计划,提高生产效率 无模型方法,根据市场需求和供应情况调整生产
零售商 优化库存管理和销售策略 后悔最小化方法,减少库存积压和缺货损失

通过多智能体学习,各个环节的智能体可以相互协作,提高整个供应链的效率和竞争力。

10. 未来发展趋势展望

随着技术的不断发展,多智能体学习将在更多领域得到应用,并且会有以下发展趋势。

  • 与其他技术的融合 :例如与深度学习、强化学习等技术的融合,提高智能体的学习能力和决策能力。
  • 处理更复杂的环境 :面对更加复杂的动态环境,如大规模网络、分布式系统等,多智能体学习需要不断改进算法和模型。
  • 强调合作与协调 :在实际应用中,智能体之间的合作与协调将变得更加重要,需要研究更有效的合作机制和协调策略。

多智能体学习作为一个具有广泛应用前景的领域,将在未来的科技发展中发挥重要作用。我们需要不断深入研究和探索,以推动其在各个领域的应用和发展。

相关推荐

多智能体强化学习简介

前言 兜兜转转总算找到了一些看得进去的知识和文章,能把博弈论知识混杂到无人机集群之中的最好方式还是很少的,也算机缘巧合找到这个学习资料还算不十分贫瘠的领域。当然难度也是TOP级别的,毕竟自己连单智能体的强化学习都没整明白。 最后,我是跌跌撞撞摸索了好久才终于摸到了一些探索的方向,所以特别想写出来告诉后生,一定要找个能带领你去研究的实验室,至少这个方向导师是熟悉的,不然什么都靠你自己去摸索能摸到锤子...

eswang的优快云博客 4150

多智能体强化学习算法【一】【MAPPO、MADDPG、QMIX】

近些年,多智能体强化学习(Multi-Agent Reinforcement Learning,MARL)取得了突破性进展,例如 DeepMind 开发的 AlphaStar 在星际争霸 II 中打败了职业星际玩家,超过了 99.8% 的人类玩家;OpenAI Five 在 DOTA2 中多次击败世界冠军队伍,是首个在电子竞技比赛中击败冠军的人工智能系统;以及在仿真物理环境 hide-and-seek 中训练出像人一样可以使用工具的智能体。我们提到的这些智能体大多是采用 on-policy 算法...

丨汀、的博客 9377

《算法零基础100讲》之 第96讲:多智能体强化学习

我们将使用一个简单的环境,其中两个智能体需要协作来移动一个物体到目标位置。多智能体强化学习是一种复杂的强化学习方法,适用于需要多个智能体协作或竞争的场景。通过TensorFlow.NET,我们可以在C#中实现多智能体强化学习算法,并应用于各种实际场景。希望这个示例能够帮助你理解多智能体强化学习的基本概念和实现方法。

u010117029的博客 309

100、多智能体学习:理论、算法与应用

本文系统介绍了多智能体学习(MAL)的基本概念、理论框架与核心算法,涵盖随机博弈模型、学习目标分类以及基于模型、无模型和后悔最小化三类主流学习方法。文章对比分析了各类算法的特点、性能与适用场景,并通过分布式控制、机器人协作和智能交通等应用案例展示了其实践价值。最后展望了多智能体学习与深度学习、区块链等技术融合的未来发展趋势,强调其在人工智能与博弈论交叉领域的重要地位。

w8x9y0z1的博客 172

【2025算法面试通关】【六.强化学习-基础算法】【42.深度强化学习与多智能体强化学习核心面试题解析:探索-利用平衡与合作竞争机制100+题】

答:在强化学习中,探索指智能体尝试未知动作以发现潜在高奖励策略,利用指选择已知最优动作最大化即时奖励。平衡两者以在长期累积奖励中取得最优,是RL核心问题之一。

商务合作|问题讨论|交流学习 请联系作者微信,加微信请务必注明来意,博客主页有联系方式 916

多智能体AI Agent:LLM驱动的协作与竞争系统

本文旨在为读者提供关于LLM驱动的多智能体系统的全面技术指南。多智能体系统的基本原理和架构LLM在智能体决策和行为生成中的应用协作与竞争机制的设计与优化实际系统实现和性能评估本文的范围不仅限于理论探讨,还将提供可直接应用于实际项目的代码实现和技术方案。背景介绍:建立基本概念和术语核心概念:分析系统架构和关键组件算法原理:深入讲解核心算法和实现细节数学模型:提供理论分析和量化评估框架项目实战:完整实现一个多智能体系统案例应用场景:探讨实际业务中的潜在应用。

AI大模型应用之禅 788

物理世界中的多智能体系统:协同交互技术深度剖析

物理世界中的多智能体协同交互。本文将聚焦这一技术,从基础概念到实战应用,解答“多智能体如何像人类团队一样高效合作”的核心问题。感知-通信-决策,并通过代码与数学公式还原技术细节。多智能体系统(Multi-Agent System, MAS):由多个能自主决策的智能体(如机器人、无人机)组成的系统,目标是通过协作完成单一个体无法完成的任务。协同交互(Cooperative Interaction):智能体之间通过信息交换与行为调整,实现目标一致的集体行动(类似团队合作搬桌子)。

AI云原生与云计算技术学院 1255

CYUSB3065配置CMOS

按照OG02B10的时序电路,在通过SCCB配置CMOS之前,需要三个电源上电,Xshutdown高电平和配置时钟电路。找到手册的第6章SCCB(跟IIC很像),可以看到SCCB的地址与SID引脚有关,这个需要到硬件原理图上确认下。这是Cypress的一个支持MIPI和UVC的模块,有例程支持OV5640,现在要替换替换成OG02B10。寄存器参数需要找到厂家的FAE,由他们提供,OG02B10的资料已经上传。(2)参考得宏的电路,时钟由主控提供,目前程序未实现。这里有两个重要参数需要搞定,摄像头的。

qq_40773212的博客 2949

500多种目标检测数据集下载地址汇总(YOLO、VOC)

【目标检测】红外物体检测-人、自行车、公交、小车、摩托车、骑行者、动物等15000张YOLO+VOC(含部分截取增强图).zip。【目标检测】医用个人防护装备检测数据集981张5类别(口罩、工作服、护目镜、手套、面罩检测数据集)VOC+YOLO格式.zip。【目标检测】车辆分类数据集1880张7类VOC+YOLO(含摩托车、救护车、消防车、警车、警用摩托车、轿车、大车).zip。【目标检测】隐翅虫数据集386张VOC+YOLO【目标检测】隐翅虫数据集386张VOC+YOLO【目标检测】隐翅虫数据集。

2401_85863780的博客 9171

Django 前后端分离实战:网络设备运维系统 - 从登录认证到业务模块

这篇文章分享了Django+Vue前后端分离开发网络设备运维系统的实战经验,重点介绍了登录认证、全局布局和设备管理三大模块的实现。文章包含以下核心内容: 登录模块实现:包括表单验证、Token认证、记住密码功能,以及美观的UI设计(渐变背景、毛玻璃效果) 全局布局架构:采用侧边栏+顶部导航的响应式设计,支持菜单权限控制和多设备适配 业务功能开发:详细展示了设备分类和部门管理的CRUD功能实现,包括列表展示、搜索过滤、分页等功能 常见问题解决:提供了5个开发中常见问题的解决方案,如Vue Router警告、C

qq_16766705的博客 526

SAP S/4HANA 可扩展性 – 面向初学者的简化指南

可扩展性(Extensibility)是 SAP ECC 和 SAP S/4HANA 的一项关键功能。它使客户能够通过定制其业务流程来创造竞争优势,并使合作伙伴能够通过量身定制的解决方案来丰富核心 ECC 或 S/4HANA。在过去的几十年中,SAP 的 on-premise 版本客户和合作伙伴主要使用经典的 ABAP 扩展性来扩展他们的 ERP 解决方案。经典扩展性允许 ABAP 开发人员使用甚至修改所有 SAP 对象。尽管经典扩展性非常强大和灵活,但在当今的云世界中,它已不再是一个好的选择。

SAP学习成长之路的博客 1810

UNet 改进(27):结合SCSE注意力机制的UNet网络实现

本文介绍了一种结合SCSE注意力机制的改进UNet网络架构。该网络在保持UNet经典编码器-解码器结构基础上,通过在每层添加SCSEBlock模块,融合了通道注意力和空间注意力机制。通道注意力通过全局池化和1×1卷积生成通道权重,空间注意力则产生空间权重图,二者相加增强关键特征响应。该设计具有以下优势:1)保持原始UNet的多尺度特征提取能力;2)通过注意力机制提升对重要区域的关注度;3)计算效率高,仅增加少量参数。测试显示网络能保持输入输出分辨率不变,适用于医学图像分割等像素级预测任务。完整代码实现了5层

2401_82355416的博客 415

智能挂锁软件需求规格说明书(SRS)

智能挂锁系统SmartPadlockV1.0是一款融合蓝牙通信、指纹识别和远程控制技术的便携式安防设备。系统由设备端、移动App和云平台三部分组成,支持蓝牙配对(10米内)、指纹识别、OTP一次性密码等多种开锁方式,响应时间<1.5秒。产品采用SM2/SM4加密技术保障安全,日均20次使用下续航达180天,兼容iOS13+/Android8.0+系统。功能包括设备绑定、远程授权、开锁记录查询和OTA固件升级,符合个人信息保护法规要求,适用于仓储、快递柜等多场景应用。

moton2017的博客 2112

华为OD机试2025A卷 - BOSS的收入(Java & Python& JS & C++ & C )

华为OD机试2025A卷 - BOSS的收入(Jav一个XX产品行销总公司,只有一个boss,其有若干一级分销,一级分销又有若干二级分销,每个分销只有唯一的上级分销。规定,每个月,下级分销需要将自己的总收入(自己的+下级上交的)每满100元上交15元给自己的上级。现给出一组分销的关系,和每个分销的收入,请找出boss并计算出这个boss的收入。输入:分销关系和收入:[[分销id 上级分销id 收入], [分销id 上级分销id 收入], [分销id 上级分销id 收入]]输出:[boss的ID, 总收入]

算法大师! 1173

DFIG风电场经LCC-HVDC外送系统SIMULINK建模与仿真

本文基于MATLAB/Simulink平台构建了DFIG风电场经LCC-HVDC外送系统的仿真模型。系统采用1000MW聚合DFIG模型与双极12脉动LCC-HVDC连接,详细阐述了参数设计、控制策略及接口协调方法。重点解决了风电场无功能力不足、功率波动影响换相等关键技术问题,为大规模风电基地外送提供了仿真研究框架。模型整合了官方DFIG和HVDC详细模块,通过参数缩放和控制系统优化,实现了完整系统的动态仿真分析。

huanghm88的专栏 122

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

上一篇: 20、基于Fisher局部保持投影方法的牛只实时识别
下一篇: 21、基于特征编码与匹配的牛只实时识别技术解析
pluto
博客等级 码龄25年 46粉丝 1562原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值