论文解读——CVPR2022《One step at a time: Long-horizon vision-and-language navigation with milestones》

一、研究背景

  复杂的日常环境中，如家庭或办公室，一个任务可能包括多个具有时序依赖的子任务，这些任务必须按特定顺序完成。例如，一个典型的任务可能是“从冰箱取出一个苹果，将它切片后放在盘子里，然后把盘子放在餐桌上。”这样的任务不仅需要代理能够理解与执行简单的导航和交互指令，还要求它们能够持续跟踪整个任务的进度，确保所有子任务都能按正确的顺序完成。

  然而，当前的自主代理在执行这些长期任务时面临着显著的挑战。主要问题包括：

1. 指令的复杂性和歧义：自然语言指令可能存在歧义，或者指令本身可能不够详尽，导致代理无法完全理解或误解任务要求。

2. 执行错误或遗漏：在执行长序列任务时，代理可能会忘记某些步骤，或者执行不当，尤其是在没有直接监督的情况下。

3. 环境的动态变化：在动态变化的环境中，原先的计划可能需要根据新的环境信息进行调整，这对代理的适应能力提出了更高的要求。

  这些问题的存在使得长期任务的自动执行变得复杂且困难。因此，开发能够有效理解和执行长期复杂任务指令的自主代理系统，特别是能够适应环境变化并准确追踪任务进度的系统，成为该领域的重要研究方向。这也是该论文试图解决的关键问题。

二、当前难点

  执行长期视觉与语言导航（VLN）任务时面临的关键挑战。以下是这些挑战的详细介绍：

1. 子任务的连贯性和依赖性：
   长期任务通常可以分解为一系列相互依赖的子任务。每个子任务的执行可能依赖于前一个任务的完成状态，这种依赖性要求代理不仅要理解每个子任务的独立要求，还要理解它们之间的逻辑联系。例如，代理可能需要先煮一个土豆再将其放入冰箱，这要求在执行“放入冰箱”这一动作前，必须完成“煮土豆”的动作。