论文解读——ICLR2024《Online Continual Learning For Interactive Instruction Following Agents》

一、研究背景

 在实际应用中，如家庭机器人等人工智能体经常面临的一个核心问题是如何适应持续变化的环境并执行复杂的任务。这些任务通常涉及对新行为的学习和对新环境的适应。例如，一个机器人可能需要在客厅清理、厨房做饭，甚至是浴室清洁等多种环境中执行任务，而这些环境和任务在初期可能并不是全部已知的。

 现有的研究通常假设训练数据在开始时就全都可用，这种假设忽略了实际应用中环境的动态变化和未知性。智能体需要能够在没有事先完整数据的情况下，通过连续的在线学习来适应新的环境和学习新的行为模式。这种实时和动态的学习模式是实现真正自主智能体的关键。

二、当前难点

1. 灾难性遗忘：

 在连续学习过程中，智能体在学习新知识的同时，常常会遗忘之前学到的知识。这种现象被称为灾难性遗忘。例如，一个机器人在学会新的清洁技巧后，可能会忘记如何烹饪或其他先前学过的技能。

 这是因为神经网络在更新权重以适应新任务时，可能会覆盖掉那些对于旧任务而言重要的信息。

2. 存储成本：

 许多现有的连续学习方法依赖于保存先前任务的数据或模型状态，例如使用经验回放或模型蒸馏的策略。这些方法需要大量的存储空间来保存旧的数据或模型。

 在资源受限的环境中，如边缘计算设备或移动机器人，存储空间和计算能力都是宝贵的，因此，需要更加高效的方法来减少对存储的依赖，同时也要保证学习的效果。

三、技术方案

 本论文的主要创新点在于提出了针对实际应用的两种在线连续学习场景设置以及一种新的学习策略——基于置信度的移动平均（CAMA）。这些创新旨在解决智能体在连续学习过程中面临的灾难性遗忘和高存储成本问题。

连续学习设置：

1. 行为增量学习（Behavior-IL）：

 在这种设置中，智能体需要逐渐学习并掌握一系列新的行为模式。例如，智能体可能最初学习在一个场景中移动物体，随后学习如何加热或清理物体。这要求智能体不仅要学习新的行为，还要记住以前学过的行为，以便在多种任务中灵活应用。

 行为增量学习模拟了现实世界中任务需求的动态变化，其中智能体可能需要在其生命周期内不断学习新技能。

2. 环境增量学习（Environment-IL）：

 在环境增量学习设置中，智能体需要适应并在多种环境中执行任务，例如从厨房环境学习到浴室或卧室环境。这种适应不仅涉及视觉和感知上的变化，还可能涉及到不同的行为策略和任务指令。

 这种设置强调了智能体适应不断变化环境能力的重要性，特别是在多功能机器人或移动服务机器人的应用场景中，它们可能需要在多种不同的家庭或工业环境中操作。

基于置信度的移动平均（CAMA）：

1. 核心机制：

 CAMA策略通过动态更新过去和当前任务的日志信息来防止知识的遗忘。该策略不依赖于固定的任务边界信息，而是使用智能体在训练过程中对每个任务置信度的度量来调整日志更新的权重。

 置信度高的日志会被赋予更大的权重，这意味着智能体认为这部分知识更可靠、更精确。这种动态调整机制使得智能体能够更灵活地处理连续的数据流，同时减少由于过时的知识而导致的错误。

2. 实现方式：

 CAMA使用一个移动平均过程，其中新的输入（例如新的行为或环境信息）和存储在记忆中的旧日志共同决定了智能体的学习更新。这个过程不仅优化了存储使用，减少了存储过时信息的风险，而且还通过持续整合新旧信息来提高学习效率。

四、实验结果

参考文献

[1] Kim B, Seo M, Choi J. Online Continual Learning For Interactive Instruction Following Agents[J]. arxiv preprint arxiv:2403.07548, 2024.