DialMAT：跨模态特征提取与对抗训练的结合

一、背景介绍

  在智能体研究领域，一个重要的挑战是如何让智能体有效理解人类的语言指令并在实际环境中完成任务。尤其是在复杂环境中，智能体经常面临信息不足的情况，比如不知道目标物体的位置、外观或如何行动。为此，DialFRED任务被提出，旨在让智能体能够通过对话向人类提问，以获取更多的上下文信息，并基于这些信息完成任务。

  DialFRED任务建立在ALFRED任务的基础上，要求智能体不仅要理解语言和视觉信息，还需要执行对象操作。在任务中，智能体可以主动询问物体的位置、外观和运动方向等信息。这一能力使得智能体在复杂环境中具备更强的灵活性，但同时也提出了新的挑战：如何设计一个能够主动提问并根据反馈调整行动的智能体？DialMAT模型正是为了解决这一问题而提出的。

  DialMAT的设计目标是通过引入对抗训练和多模态特征提取机制，增强智能体在不确定环境中的任务执行能力，并使其在任务执行过程中能够更好地与人类协作。

图 1 DialMAT 由 Questioner 和 MAPer 两个模块组成，通过 MAT 将对抗性扰动引入语言、图像和动作的潜在空间

二、技术路线

  为了应对DialFRED任务中的挑战，作者提出了DialMAT，这是一种专为对话驱动任务设计的Transformer模型。该模型结合了基于矩的对抗训练（MAT）和跨模态并行特征提取机制，在处理复杂的视觉和语言任务时表现出色。

2.1 DialMAT的总体架构

  DialMAT模型的架构由两个核心模块组成：提问模块（Quest