20、贝叶斯非参数模型：原理、表示与应用

贝叶斯非参数模型：原理、表示与应用

1. 可交换性与贝叶斯假设

在统计学中，对于可交换观测，贝叶斯关于存在随机分布参数的假设并非建模假设，而是数据属性的数学结果。正式地说，若变量序列 (X_1, X_2, \cdots, X_n) 在同一概率空间 ((\Omega, \mathcal{F})) 上的联合分布在变量置换下不变，则该序列是可交换的。即若 (P) 是联合分布，(\pi) 是 ({1, \cdots, n}) 的任意置换，则有：
[P(X_1 = x_1, X_2 = x_2, \cdots, X_n = x_n) = P(X_1 = x_{\pi(1)}, X_2 = x_{\pi(2)}, \cdots, X_n = x_{\pi(n)})]
一个无限序列 (X_1, X_2, \cdots) 是无限可交换的，如果对于每个 (n > 1)，(X_1, \cdots, X_n) 都是可交换的。可交换性反映了变量不依赖于其索引的假设，即使它们之间可能存在依赖关系。这在机器学习和统计应用中通常是一个合理的假设，即使变量本身不是独立同分布（iid）的。可交换性是比 iid 更弱的假设，因为 iid 变量自动是可交换的。

如果 (\theta) 对底层分布进行参数化，并且假设了 (\theta) 的先验分布，那么在对 (\theta) 进行边缘化后，(X_1, X_2, \cdots) 的边缘分布仍然是可交换的。德菲内蒂（de Finetti）定理指出，反之亦然。即如果 (X_1, X_2, \cdots) 是（无限）可交换的，那么存在一个随机的 (\theta)，使得对于每个 (n > 1)：
[P(X_1, \cdots, X_n) = \int P(