15、机器学习中的领域适应与隐藏变量

机器学习中的领域适应与隐藏变量

领域适应概述

领域适应是一个与因果关系自然相关的机器学习问题。我们假设在不同领域 $e \in E = {1, \ldots, D}$ 中获得目标变量 $Y_e$ 和 $d$ 个可能的预测变量 $X_e = (X_{e1}, \ldots, X_{ed})$ 的数据，并希望预测 $Y$。这里使用“领域”或“任务”的术语，以下是领域适应中三个问题的分类：
| 方法 | 训练数据来源 | 测试领域 |
| — | — | — |
| 领域泛化 | $(X_1, Y_1), \ldots, (X_D, Y_D)$ | $T := D + 1$ |
| 多任务学习 | $(X_1, Y_1), \ldots, (X_D, Y_D)$ | $T \in {1, \ldots, D}$ |
| 非对称多任务学习 | $(X_1, Y_1), \ldots, (X_D, Y_D)$ | $T := D$ |

我们的主要假设是存在一个集合 $S^ \subseteq {1, \ldots, d}$，使得条件 $Y_e | X_{eS^ }$ 对于所有领域 $e \in E$（包括测试领域）都是相同的，即对于所有 $e, f \in E$ 和所有 $x_{S^ }$，$Y_e | X_{eS^ } = x_{S^ }$ 和 $Y_f | X_{fS^ } = x_{S^*}$ 具有相同的分布。

不变预测与领域适应的关系

在之前的讨论中，我们使用“环境”而非“领域”的术语，并将上述性质称为“不变预测”。如果存在一个潜在的结构因果模