19、多智能体网络的集体终身学习算法解析

多智能体网络的集体终身学习算法解析

1. 引言

在机器学习领域，多任务学习（MTL）旨在让智能体同时处理多个相关任务，以提高整体学习效率和性能。传统的分布式MTL方法大多局限于离线（批量）设置，且部分在线设置需要中央服务器节点，存在一定限制。本文提出的方法考虑了终身学习环境下的去中心化和分布式多智能体MTL，无需中央服务器，通过智能体之间的协作来提升集体性能。

2. 相关背景

• 分布式优化与终身学习 ：以往的分布式MTL方法多适用于离线设置，每个智能体处理单个任务。而本文提出的在线学习过程能够处理连续任务。在每次迭代中，智能体接收并学习本地任务模型，然后通过消息传递方案在相邻智能体之间转移和更新知识，从而使知识在所有智能体之间传播，提高集体性能。
• 终身机器学习问题建模 ：考虑一组T个相关的监督回归或分类任务，每个任务有对应的标记训练数据集。通过经验风险最小化（ERM）问题来学习任务模型，目标是估计最优任务参数。为了建模任务关系，GO - MTL算法使用经典的ERM来估计预期损失，并假设任务参数可以分解为共享字典知识库和任务特定的稀疏系数。

3. 在线字典学习问题

• 问题转化 ：为了解决终身学习中离线求解不适用的问题，Ruvolo和Eaton使用二阶泰勒展开将损失函数近似，将目标问题转化为在线字典学习问题。在新任务到来时，仅计算相应的稀疏向量来更新目标函数，最后更新共享基以存储学习到的知识。
• 算法局限性