《Understanding Black-box Predictions via Influence Functions》笔记

[1] 通过升权（$\S 2.1$）、扰动（$\S 2.2$）两种方式研究某个 training point $z=(x,y)$ 对（优化后的）模型参数 $\hat{\theta }$、模型在某个 test point $z_{\text{test}}=(x_{\text{test}},y_{\text{test}})$ 的 prediction 的影响。

其在 $\S 2.3$ 对比在找与 $z_{\text{test}}$ 最相关的 z 时，(2) 式提出的影响函数 $I_{\text{up,loss}}(z,z_{\text{test}})$ 与（normalised x 后的）欧氏距离 $x^T{x}_{\text{test}}$ 的分别。以 logistic regression 为例，算出此时 $I_{\text{up,loss}}$ 的表达式，提了两点分别：

• $\sigma (-y{\theta }^{T}x)$ 一项会使 loss 大的 training point 有更大的 influence。由 loss 的表达式 $L(z,\theta )=\log [1+\exp (-y{\theta }^{T}x)]$，loss 更大意味着 $-y{\theta }^{T}x$ 更大，从而 $\sigma (-y{\theta }^{T}x)$ 更大，确实会令 $I_{\text{up,loss}}$ 的绝对值更大，即有更大的 influence。

• $H_{\hat{\theta }}^{-1}$ 一项的作用，[2,5,6] 没解释，[3,4] 简单翻译一笔带过。看了 [1] 的 talk，还是看回 (2) 式好理解些：$$I_{\text{up,loss}}(z,z_{\text{test}})=-{\nabla }_{\theta }L(z_{\text{test}},\hat{\theta }{)}^T{H}_{\hat{\theta }}^{-1}{\nabla }_{\theta }L(z,\hat{\theta })$$ 先忽略中间的 $H_{\hat{\theta }}^{-1}$（也忽略负号，因为是讨论 influence「大小」，不看方向），只看 ${\nabla }_{\theta }L(z_{\text{test}},\hat{\theta }{)}^T{\nabla }_{\theta }L(z,\hat{\theta })$，则 (2) 相当于说要找最相关的 z，不是看数据层面的关联（即 $x^T{x}_{\text{test}}$），因为这里不是 kNN 这种 parameter-free 的模型，training data 是通过影响模型参数 $\theta$ 来影响 test data 的 prediction 的，所以从「梯度关联」（内积）的视角看更准确：梯度反映模型要 fit 此数据要做出的调整，梯度越相关，意味着模型为 fit z 做出的调整对 predict $z_{\text{test}}$ 越适用。
  再考虑整个训练集：如果有其它 $z^{\prime }$ 带来的梯度跟 $z_{\text{test}}$ 的梯度也很相关，那 z 就相对没那么重要了，极端情况 $z^{\prime }=z$，那有 z 没 z 都无所谓，所以加上 $H_{\hat{\theta }}^{-1}$ 来考虑这点，文中

  ${\nabla }_{\theta }L(z,\hat{\theta })$ points in a direction of little variation

  「direction」应是指梯度的方向、「variance」指梯度的方差。参考 [7-9]，此时 $H_{\hat{\theta }}^{-1}$ 应该会相对放大这个梯度内积（联想一维正态分布的情况会比较直观，高维的协方差逆相当于一维时方差放在分母，方差越小整个分式越大），于是数值上 $I_{\text{up,loss}}(z,z_{\text{test}})$ 更大；而联系 PCA 中关于 variance 的描述，这应该是表明很少有其它 training points 的梯度方向与 z 的相近，于是 z 对模型的影响（及此影响于 predict $z_{\text{test}}$ 的适用性）无可替代，所以应当认为 z 对 $z_{\text{test}}$ 的 influence 更大。

$\S 3$ 的 stochastic estimation 近似 $H_{\hat{\theta }}^{-1}$ 中，其 Taylor 展开为 $H_{\hat{\theta }}^{-1}={\sum }_{i=0}^{\infty }(I-H{)}^i$，参考 [10,11]，此展开成立的前提是 $\Vert I-H\Vert <1$（算子范数），后文有说用 ${\nabla }_{\theta }^{2}L(z_i,\hat{\theta })$ 作 H 的无偏估计，而同一页的脚注 2 有讲假设 $\forall i,{\nabla }_{\theta }^{2}L(z_i,\hat{\theta })⪯I$ 成立，应该是类似的意思。这在实数域中的类比是 $|x|<1$ 时 $(1-x{)}^{-1}=\frac{1}{1-x}$ 几何级数展开，见 [10,11]。

$⪯$ 是偏序的符号，用在向量上是 majorization，但这里是用在矩阵上。经 [12] 评论提醒，应是 Loewner 偏序^[13]，跟矩阵正定有关，相关笔记可见 [14]。下面解释它跟 Neumann 序列^[11]的关系。

由 [10]，要将 $H^{-1}$ 展开成 ${\sum }_{i=1}^{\infty }(I-H{)}^i$ 的形式（即 Neumann 序列），前提是 $\Vert I-H\Vert <1$（算子范数）。有关算子范数及相关知识参考 [15-19]，简单来说，矩阵 A 的算子范数为 ${\sup }_{\Vert x\Vert =1}\Vert Ax\Vert$。易算得单位阵 $I$ 的算子范数为 ${\sup }_{\Vert x\Vert =1}\Vert Ix\Vert ={\sup }_{\Vert x\Vert =1}\Vert x\Vert =1$。由 [14] 的笔记，有 $$A\prec (或⪯)B\iff \forall x\ne 0,\Vert Ax\Vert <(或\le )\Vert Bx\Vert$$ 又因为有假设 $\forall i,0\prec {\nabla }_{\theta }^{2}L(z_i,\hat{\theta })⪯I$（[1] 中 $\S 2.1$ 有假设 Hessian 正定），故 $$\begin{array}{rlr}0& \prec H_{\hat{\theta }}=\frac{1}{n}\sum _{i=1}^n{\nabla }_{\theta }^{2}L\left(z_i,\hat{\theta }\right)& ⪯I\\ I& \succ I-H_{\hat{\theta }}& ⪰0\end{array}$$ 所以 $I-H_{\hat{\theta }}$ 的算子范数 $$\begin{array}{rl}\Vert I-H_{\hat{\theta }}\Vert & =\underset{\Vert x\Vert =1}{\sup }\Vert (I-H_{\hat{\theta }})x\Vert \\ & <\underset{\Vert x\Vert =1}{\sup }\Vert Ix\Vert =\underset{\Vert x\Vert =1}{\sup }\Vert x\Vert =1\end{array}$$ 满足 [11] Neumann 序列的前提，所以展开成立。

References

1. (ICML 2017) Understanding Black-box Predictions via Influence Functions - paper, talk, code
2. ICML 2017 Best Paper Award论文解读(1)
3. ICML 2017 Best Paper理解
4. 论文笔记understanding black-box predictions via influence functions
5. ICML 2017最佳论文：为什么你改了一个参数，模型预测率突然提高了|分享总结
6. 论文笔记：Understanding Black-box Predictions via Influence Functions
7. What is the Covariance Matrix?
8. Understanding the Covariance Matrix
9. 如何直观地理解「协方差矩阵」？
10. Taylor Expansion of inverse of a matrix (need verification that this is completely wrong)
11. Neumann series
12. 矩阵论记号约定
13. Loewner order，Loewner Order
14. 《Data Cleansing for Models Trained with SGD》笔记
15. 第一课：线性代数基础（一），第八课：向量的范数，第九课：矩阵的范数，第十课：算子范数（一），第十课：算子范数（二）
16. 【矩阵论笔记】诱导范数
17. 泛函分析学习笔记（七）
18. 向量范数与矩阵范数
19. 矩阵基础 | 向量范数与矩阵范数