7、多智能体对偶学习及其在自然语言处理中的应用

多智能体对偶学习及其在自然语言处理中的应用

1. 多智能体对偶学习概述

在跨语言通信系统中，两个智能体 $g$ 和 $f$ 可以相互作为评估器。$g$ 用于评估 $f$ 生成的 $\hat{y}$ 的质量，并将反馈信号 $\mathcal{X}(x, g(\hat{y}))$ 反馈给 $f$，反之亦然。这种评估的质量对于改进原始模型和对偶模型起着核心作用。

以往的对偶学习工作通常只利用一个智能体来评估并为另一个方向的模型提供反馈信号。受集成学习的启发，研究人员引入了多个智能体到学习系统中，以进一步挖掘对偶学习的潜力。同一方向的智能体具有相似的能力和一定的多样性，能够将一个领域映射到另一个领域（如 $X \to Y$ 或 $Y \to X$）。不同的智能体可以通过使用不同的随机种子初始化和数据访问顺序独立训练多个 $f$ 和 $g$ 来获得。对于每个 $f$（或 $g$）的输出，多个 $g$（或 $f$）将提供反馈信号。直观地说，更多的智能体可以带来更可靠和稳健的反馈，就像多个专家的多数投票一样，有望实现更好的最终性能。这种具有多个智能体的对偶学习框架被称为多智能体对偶学习。

2. 多智能体对偶学习框架

2.1 模型定义

在多智能体对偶学习中，设 $f_i : X \to Y$，$i \in {0, 1, 2, \cdots, N - 1}$ 表示多个原始模型，$g_i : Y \to X$，$i = {0, 1, 2, \cdots, N - 1}$ 表示多个对偶模型。$\mathcal{X}(x, x’)$ 是从 $X \times X$ 到 $\mathbb{R}$ 的映射，表示 $x$ 和 $x’$ 之间的对偶重建误差，$\m