人工智能顶会CVPR2023《揭秘对抗性示例中的因果特征：提升深度神经网络鲁棒性的新途径》论文解读

1.引言

对抗性示例起源于对深度神经网络的不稳定性的观察。这些示例是经过精心设计的输入，它们通过引入微小但故意的扰动，使得深度神经网络产生错误的输出，尽管这些扰动对人类观察者几乎是不可察觉的。这种现象揭示了深度学习模型在视觉感知方面与人类存在显著差异，尤其是在解释和理解图像内容的能力方面。

论文强调使用因果推断的视角来理解对抗性示例的必要性。传统上，深度学习主要关注于关联关系的建模，即通过大量数据训练模型来学习输入和输出之间的相关性。然而，这种方法忽视了潜在的因果关系，即特定输入特征是如何导致输出的变化。通过因果推断视角，研究者可以更深入地理解哪些特征是对模型预测具有决定性影响的，从而提高模型的解释性和鲁棒性。

2.相关工作

**工具变量（IV）**回归是经济学中用于鉴别因果关系的一种重要方法。它主要用于解决内生性问题，即当模型中的解释变量与误差项相关时，导致的估计偏误。在这种情况下，IV回归通过引入一个或多个与解释变量相关，但与模型误差项不相关的工具变量，来识别真正的因果关系。这种方法使得研究者能够估计变量间的因果效应，即使在存在未观察到的混杂变量的情况下也是如此。

在机器学习领域，IV回归的概念和技术已经开始被探索和应用。尽管机器学习的主要焦点通常是预测而不是因果推断，但近年来对理解和解释模型预测的兴趣日益增加。在这种背景下，IV回归提供了一种强大的工具，可以帮助揭示模型预测背后的因果机制。尤其是在处理高维数据和复杂模型时，IV回归的方法和思想为机器学习带来了新的视角和可能性

举个例子说明工具变量（IV）的应用：

当然，让我们通过一个简化的例子来解释工具变量（IV）回归的应用：

假设我们想研究教育水平（例如，接受的年数）对个人收入的影响。这里，教育水平是解释变量，个人收入是因变量。然而，这个模型可能存在内生性问题，因为个人的能力或动机可能同时影响他们的教育水平和收入，但这些因素可能没有在模型中直接观察到或测量。

为了解决这个问题，我们可以使用一个工具变量。假设在某个地区，政府实施了一项政策，随机地为一些地区提供更多的教育资源。这种政策实施可以作为一个工具变量，因为它可能影响个人的教育水平（更多的教育资源可能鼓励更长时间的教育），但不直接影响个人的收入（除了通过教育水平这一路径）。

1. 第一阶段回归：我们首先使用政府教育政策（工具变量）来预测个人的教育水平。这一步骤帮助我们获取教育水平的一个无偏估计，减少了潜在的能力或动机等未观察因素的影响。
2. 第二阶段回归：接着，我们使用第一阶段得到的预测教育水平（经过“净化”的教育水平）来预测个人收入。这一步骤的目的是估计教育水平对收入的真实影响。

通过这个例子，我们可以更准确地估计教育对收入的因果影响，同时解决了内生性问题。这种方法在经济学研究中非常有用，尤其是在处理那些难以通过实验方法直接检验的因果关系时。

3. 对抗性IV回归

3.1 重新审视非参数IV回归

在论文中，详细介绍了非参数IV回归的设计，包括其中的关键公式和概念：

非参数IV回归模型可以表示为一个两阶段的估计过程，通常涉及以下关键方程：

1. 第一阶段：$Y=g(X,ϵ)$

   • 在这个阶段，$Y$是因变量，$X$是内生解释变量，而 $ϵ$是误差项。函数$g(\cdot )$表示 $X$和 $Y$之间的潜在关系，它是一个未知的非参数函数。

2. 第二阶段：$X=h(Z,u)$

   • 在第二阶段，$Z$是工具变量，它与 $X$相关，但假设与误差项$ϵ$不相关。$u$是另一个误差项。函数 $h(\cdot )$ 表示 $Z$和$X$之间的关系，也是一个未知的非参数函数。

在这个设置中，目标是估计函数 $g(\cdot )$，它表示 $X$对 $Y$的因果效应。然而，由于$X$与$ϵ$相关，直接估计 $g(\cdot )$ 是有偏的。因此，使用工具变量 $Z$来进行无偏估计。

这个过程涉及两个关键步骤：

• 首先，在第一阶段，使用 $Z$来预测 $X$。这可以通过回归$X$到$Z$上来实现，从而得到$X$的一个估计，我们称之为$\hat{X}$。
• 然后，在第二阶段，使用这个预测值 $\hat{X}$ 来估计$Y$。这样，我们可以得到 $X$ 对$Y$的因果效应的无偏估计。

非参数IV回归的一个重要特点是它不依赖于特定的函数形式，使得分析更加灵活，能够捕捉复杂的、非线性的关系。但这也意味着需要使用更复杂的统计技术来估计和解释这些关系。

下面是使用PyTorch实现非参数IV回归的代码示例

import torch
import torch.nn as nn
import torch.optim as optim

# 假设数据：Y（因变量），X（内生解释变量），Z（工具变量）
# 这里使用随机数据作为示例
n_samples = 1000
Y = torch.randn(n_samples, 1)
X = torch.randn(n_samples, 1)
Z = torch.randn(n_samples, 1)

# 第一阶段模型：用Z预测X
class Stage1Model(nn.Module):
    def __init__(self):
        super(Stage1Model