论文解读——ICLR2024《Online Continual Learning For Interactive Instruction Following Agents》

一、研究背景

 在实际应用中，如家庭机器人等人工智能体经常面临的一个核心问题是如何适应持续变化的环境并执行复杂的任务。这些任务通常涉及对新行为的学习和对新环境的适应。例如，一个机器人可能需要在客厅清理、厨房做饭，甚至是浴室清洁等多种环境中执行任务，而这些环境和任务在初期可能并不是全部已知的。

 现有的研究通常假设训练数据在开始时就全都可用，这种假设忽略了实际应用中环境的动态变化和未知性。智能体需要能够在没有事先完整数据的情况下，通过连续的在线学习来适应新的环境和学习新的行为模式。这种实时和动态的学习模式是实现真正自主智能体的关键。

二、当前难点

1. 灾难性遗忘：

 在连续学习过程中，智能体在学习新知识的同时，常常会遗忘之前学到的知识。这种现象被称为灾难性遗忘。例如，一个机器人在学会新的清洁技巧后，可能会忘记如何烹饪或其他先前学过的技能。

 这是因为神经网络在更新权重以适应新任务时，可能会覆盖掉那些对于旧任务而言重要的信息。

2. 存储成本：

 许多现有的连续学习方法依赖于保存先前任务的数据或模型状态，例如使用经验回放或模型蒸馏的策略。这些方法需要大量的存储空间来保存旧的数据或模型。

 在资源受限的环境中，如边缘计算设备或移动机器人，存储空间和计算能力都是宝贵的，因此，需要更加高效的方法来减少对存储的依赖，同时也要保证学习的效果。

三、技术方案

 本论文的主要创新点在于提出了针对实际应用的两种在线连续学习场景设置以及一种新的学习策略——基于置信度的移动平均（CAMA）。这些创新旨在解决智能体在连续学习过程中面临的灾难性遗忘和高存储成本问题。

连续学习设置：

1. 行为增量学习（Behavior-IL）：

 在这种设置中，智能体需要逐渐学习并掌握一系列新的行为模式。例如，智能体可能最初学习在一个场景中移动物体，随后学习如