12、多元因果模型学习与条件算法独立性

多元因果模型学习与条件算法独立性

1. 条件算法独立性

因果结构不仅意味着统计（条件）独立性，还意味着相对于其他（非统计）信息度量的独立性。算法马尔可夫条件的最基本含义是赖兴巴赫原理在算法依赖关系上的类比。两个对象只有在有共同原因或其中一个影响另一个时才会在算法上相关。

若有(d)个因果无关的对象(x_1,\cdots,x_d)，它们在算法上是联合独立的，即：
[K(x_1,\cdots,x_d) \approx \sum_{j = 1}^{d}K(x_j)]
也可以将左右两边的差值称为多信息，并将联合独立性表示为：
[I(x_1,x_2,\cdots,x_d) \approx 0]
联合独立性还意味着每个子集也独立。

如果假设因果图模型中的条件概率(P_{X_j|PA_j})是“自然独立选择的”，那么可以得出它们在算法上是联合独立的，即算法条件独立性原理（AIC）：
[I(P_{X_1|PA_1},P_{X_2|PA_2},\cdots,P_{X_d|PA_d}) \approx 0]
或者等价地：
[K(P_{X_1,\cdots,X_d}) \approx \sum_{j = 1}^{d}K(P_{X_j|PA_j})]

需要注意的是，AIC 不能与算法马尔可夫条件相混淆。算法马尔可夫条件讨论的是(n)个单个对象之间的因果关系，不涉及统计抽样；而 AIC 仍然假设是传统的独立同分布设置，有(n)个随机变量，只是陈述了一个额外的推理原则。

因果忠实性和 AIC 在本质上是相关的，并且常常得出相似的结论。例如，在某些线性模型中，当结构系数满足特定条件时，会出现“非一般”