6、因果模型学习与机器学习的关联

因果模型学习与机器学习的关联

1. 因果结构识别方法

在因果发现中，我们可以利用可识别性结果从有限数据集估计图结构，下面介绍几种结构识别方法：

1.1 加性噪声模型（Additive Noise Models）

基于加性噪声模型（ANMs）可识别性的因果学习方法，这里介绍两种方式：
- 残差独立性测试方法 ：
1. 对 Y 关于 X 进行回归，使用某种回归技术将 Y 表示为 X 的函数 ˆfY 加上一些噪声。
2. 测试 Y - ˆfY(X) 是否与 X 独立。
3. 交换 X 和 Y 的角色，重复上述过程。
4. 如果在一个方向上独立性被接受，而在另一个方向上被拒绝，则推断前者为因果方向。

在实际应用中，前两个步骤是机器学习和统计学的标准问题，但存在耦合挑战，即 ˆfY 偏离 fY 可能隐藏或创造噪声与输入变量之间的依赖关系。可以使用样本分割方法解决，同时选择考虑高阶统计量的独立性测试，如 Hilbert - Schmidt 独立性准则（HSIC）。根据显著性水平判断独立性，若要强制决策，可推断拒绝独立性的 p 值较高的方向为因果方向。

以下是一个使用 R 语言的代码示例：

library(dHSIC)
library(mgcv)
# generate data set
set.seed(1)
X <- rnorm(200)
Y <- X^3 + rnorm(200)
# fit models
modelforw <- gam(Y ~ s(X))
modelb