18、有向无环图中的条件独立性与d-分离定理-优快云博客

本文链接：https://blog.youkuaiyun.com/linux/article/details/152357432

有向无环图中的条件独立性与d-分离定理

在图论和概率图模型中，有向无环图（DAG）是一种重要的结构，它可以用来表示变量之间的因果关系和条件独立性。本文将介绍一些关于有向无环图的重要定理和引理，这些定理和引理在研究变量之间的依赖关系和条件独立性时非常有用。

1. 定理3.3

定理3.3指出，概率分布P(V)与顶点集为V的有向无环图G是忠实的，当且仅当对于所有不相交的顶点集X、Y和Z，X和Y在给定Z的条件下独立，当且仅当X和Y在给定Z的情况下是d-分离的。该定理的“如果”部分最早由Verma在1986年证明，“仅当”部分最早由Geiger和Pearl在1989年证明。

1.1 诱导路径图

诱导路径图G’是有向无环图G在顶点子集O上的一种表示。如果O是G中顶点的子集，并且变量A和B之间存在一条指向A的边，当且仅当A和B都在O中，并且在G中存在一条相对于O指向A的诱导路径。与有向无环图不同，诱导路径图可以包含双向箭头，但不包含没有箭头的边。

1.2 相关定义

有向路径 ：在诱导路径图和有向无环图中，有向路径只包含有向边，例如A → B。
无向路径 ：在诱导路径图中，无向路径可以包含有向边或双向边，例如C ↔ D。
碰撞点 ：在路径中，如果一个顶点是两条边的碰撞点，那么它在给定某些条件下可能会影响变量之间的独立性。
祖先和后代 ：这些定义与有向图中的定义相同。

2. 引理3.3.1

引理3.3.1给出了一种从一系列路径构造一条d-连接X和Y的路径的方法。

2.1 条件

在有向无环图G（或诱导路径图G’）中，如果X和Y不在Z中，存在一个从X到Y的不同顶点序列S，并且存在一个无向路径集合T，满足以下条件：
1. 对于S中每对相邻顶点V和W，在T中存在一条唯一的无向路径，该路径在给定Z{V,W}的条件下d-连接V和W。
2. 如果S中的顶点Q在Z中，那么T中以Q为端点的路径在Q处碰撞。
3. 如果S中按顺序出现的三个顶点V、W、Q，T中连接V和W以及W和Q的d-连接路径在W处碰撞，那么W在Z中有后代。

2.2 结论

那么在G中存在一条路径U，该路径在给定Z的条件下d-连接X和Y。此外，如果T中所有包含X的边都指向（或背离）X，那么U也指向（或背离）X，对于Y也是如此。

2.3 证明

证明过程如下：
1. 首先，将T中的所有路径按照序列S的顺序连接起来，得到路径U’。
2. 由于U’可能包含重复的顶点，因此需要去除其中的所有循环，得到路径U。
3. 证明U在给定Z的条件下d-连接X和Y：
- 对于Z中在U上的每个成员R，证明它是U上的碰撞点。
- 对于U上的每个碰撞点R，证明它在Z中有后代。

下面是这个过程的mermaid流程图：

graph TD;
    A[开始] --> B[连接T中路径得到U'];
    B --> C[去除U'中的循环得到U];
    C --> D[证明Z中在U上的成员是碰撞点];
    D --> E[证明U上的碰撞点在Z中有后代];
    E --> F[U在给定Z的条件下d-连接X和Y];
    F --> G[结束];

3. 引理3.3.2

引理3.3.2指出，如果G是有向无环图（或诱导路径图），R通过无向路径U在给定Z的条件下d-连接到Y，并且W和X是U上不在Z中的不同顶点，那么U(W,X)在给定Z{W,X}的条件下d-连接W和X。

3.1 证明

证明过程如下：
1. 对于U(W,X)上除端点外的每个非碰撞点，它也是U上的非碰撞点，因此不在Z中。
2. 对于U(W,X)上的每个碰撞点，它也是U上的碰撞点，由于U在给定Z的条件下d-连接R和Y，因此该碰撞点在Z中有后代。

4. 引理3.3.3

引理3.3.3表明，如果G是有向无环图（或诱导路径图），R通过无向路径U在给定Z的条件下d-连接到Y，存在一条从R到X的有向路径D，该路径不包含Z中的任何成员，并且X不在U上，那么存在一条路径U’，该路径在给定Z的条件下d-连接X和Y，并且指向X。如果D不包含Y，那么U’指向Y当且仅当U指向Y。

4.1 证明

证明过程如下：
1. 找到D和U的交点Q，该交点在U上最接近Y。
2. 如果D包含Y，那么Y = Q，D(Y,X)是一条指向X的路径，在给定Z的条件下d-连接X和Y。
3. 如果D不包含Y，那么Q ≠ Y，X ≠ Q。根据引理3.3.2，U(Q,Y)在给定Z{Q,Y}的条件下d-连接Q和Y，D(Q,X)在给定Z{Q,X}的条件下d-连接Q和X。
4. 根据引理3.3.1，存在一条路径U’，该路径在给定Z的条件下d-连接X和Y，并且指向X。
5. 如果Y不在D上，那么U’中包含Y的所有边都在U(Q,Y)中，因此U’指向Y当且仅当U指向Y。

下面是引理3.3.3证明过程的表格总结：
|情况|条件|结论|
|----|----|----|
|D包含Y|D包含Y|D(Y,X)在给定Z的条件下d-连接X和Y，指向X|
|D不包含Y|D不包含Y，Q为D和U交点，Q在U上最接近Y|存在路径U’，在给定Z的条件下d-连接X和Y，指向X；若Y不在D上，U’指向Y当且仅当U指向Y|

5. 引理3.3.4

引理3.3.4涉及到概率分布的求和问题。在有向无环图G中，ND(Y)是所有在Y中没有后代的顶点集合。如果P(V)满足有向无环图G的马尔可夫条件，S是V的子集，并且ND(Y)包含在S中，那么：
[
\sum_{S \to} \prod_{V \in V} P(V|Parents(V)) = \sum_{S\setminus ND(Y) \to} \prod_{V \in V\setminus ND(Y)} P(V|Parents(V))
]

5.1 证明

证明过程如下：
1. 将S划分为S\ND(Y)和S ∩ ND(Y) = ND(Y)。
2. 对于V\ND(Y)中的每个V，P(V|Parents(V))不包含ND(Y)中的变量，因此可以将其从对ND(Y)中变量值的求和范围中移除。
3. 证明(\sum_{ND(Y) \to} \prod_{V \in ND(Y)} P(V|Parents(V)) = 1)，除非对于S\ND(Y)的某些值，使得对于ND(Y)中的每个V，P(V|Parents(V))有定义的ND(Y)值集合为空。

6. 引理3.3.5

引理3.3.5给出了条件概率P(Y|Z)的一种表达式。如果P满足有向无环图G的马尔可夫条件，那么：
[
P(Y|Z) = \frac{\sum_{IV(Y,Z) \to} \prod_{W \in IV(Y,Z)\cup IP(Y,Z)\cup Y} P(W|Parents(W))}{\sum_{IV(Y,Z)\cup Y \to} \prod_{W \in IV(Y,Z)\cup IP(Y,Z)\cup Y} P(W|Parents(W))}
]
对于所有使得因子分解中的条件分布有定义，并且P(z) ≠ 0的V值都成立。

6.1 证明

证明过程如下：
1. 根据条件概率的定义，(P(Y|Z) = \frac{P(YZ)}{P(Z)} = \frac{\sum_{V \setminus YZ \to} \prod_{W \in V} P(W|Parents(W))}{\sum_{V \setminus Z \to} \prod_{W \in V} P(W|Parents(W))})。
2. 根据引理3.3.4，将上式转化为(\frac{\sum_{V’ \setminus YZ \to} \prod_{W \in V’} P(W|Parents(W))}{\sum_{V’ \setminus Z \to} \prod_{W \in V’} P(W|Parents(W))})，其中V’ = V\ND(YZ)。
3. 证明可以将分子和分母分解为两个求和的乘积，并且第二个项在分子和分母中相同，可以抵消。
4. 分别证明对于IV(Y,Z) ∪ IP(Y,Z) ∪ Y中的W和V’(IV(Y,Z) ∪ IP(Y,Z) ∪ Y)中的W，满足相应的条件。

7. 引理3.3.6

引理3.3.6指出，在有向无环图G中，如果V在给定Z的条件下d-连接到Y，并且X在给定Z的条件下d-分离于Y，那么V在给定XZ的条件下d-连接到Y。

7.1 证明

证明过程如下：
1. 假设X在给定Z的条件下d-分离于Y，如果V在给定XZ的条件下d-分离于Y，但在给定Z的条件下d-连接到Y，那么存在一条路径U，该路径在给定Z的条件下d-连接V和Y中的某个Y。
2. 通过分析路径U和顶点的关系，得出矛盾，从而证明V在给定XZ的条件下d-连接到Y。

综上所述，这些定理和引理为研究有向无环图中变量之间的条件独立性和d-分离提供了重要的理论基础。它们在概率图模型、因果推断等领域有着广泛的应用，可以帮助我们更好地理解和分析变量之间的依赖关系。

8. 相关概念总结

在深入理解上述定理和引理后，我们对一些重要概念进行总结，以便更好地掌握有向无环图中的条件独立性和 d - 分离相关知识。

8.1 关键集合定义

集合名称	定义
ND(Y)	有向无环图 G 中所有在 Y 中没有后代的顶点集合
IV(Y,Z)	当 Y ∩ Z = ∅ 时，V 在 IV(Y,Z) 中当且仅当 V 在给定 Z 的条件下 d - 连接到 Y，且 V 不在 ND(YZ) 中
IP(Y,Z)	当 Y ∩ Z = ∅ 时，W 在 IP(Y,Z) 中当且仅当 W 是 Z 的成员，且 W 有一个父节点在 IV(Y,Z) ∪ Y 中

8.2 重要条件总结

下面通过 mermaid 流程图展示引理 3.3.1 中构造 d - 连接路径的条件：

graph LR;
    A[X 和 Y 不在 Z 中] --> B[存在从 X 到 Y 的顶点序列 S];
    B --> C[存在无向路径集合 T];
    C --> D{条件 1};
    D -->|是| E{条件 2};
    E -->|是| F{条件 3};
    F -->|是| G[存在 d - 连接 X 和 Y 的路径 U];
    D -->|否| H[不满足条件];
    E -->|否| H;
    F -->|否| H;

9. 实际应用分析

这些定理和引理在实际应用中有着重要的价值，例如在因果推断和概率图模型中，可以帮助我们判断变量之间的独立性和依赖关系，进而进行有效的数据分析和预测。

9.1 因果推断中的应用

在因果推断中，我们常常需要判断变量之间是否存在因果关系。通过 d - 分离的概念，我们可以利用上述定理和引理来确定哪些变量在给定某些条件下是独立的，从而排除一些不必要的因果关系。具体步骤如下：
1. 构建有向无环图 ：根据领域知识和数据特点，构建表示变量之间因果关系的有向无环图。
2. 确定条件集合 ：根据研究问题，确定需要考虑的条件集合 Z。
3. 判断 d - 分离关系 ：利用引理和定理判断变量之间是否存在 d - 分离关系，从而确定变量之间的独立性。
4. 得出因果结论 ：根据变量之间的独立性和依赖关系，得出因果推断的结论。

9.2 概率图模型中的应用

在概率图模型中，有向无环图可以用来表示变量之间的概率分布。通过上述定理和引理，我们可以对概率分布进行简化和计算。具体步骤如下：
1. 定义概率分布 ：根据有向无环图，定义变量之间的概率分布 P(V)。
2. 应用引理进行计算 ：利用引理 3.3.4 和 3.3.5 等，对概率分布进行求和和计算，得到所需的条件概率。
3. 进行概率推断 ：根据计算得到的条件概率，进行概率推断和预测。