37、提升建模与非线性格兰杰因果识别的创新方法

提升建模与非线性格兰杰因果识别的创新方法

1. 无参数贝叶斯决策树用于提升建模

1.1 树似然性

在定义树的先验概率后，我们建立给定树模型下数据的似然概率。类分布仅取决于叶节点。对于结果变量的每个多项分布（每个叶节点根据处理是否有效果有一个或两个不同的分布），我们假设与多项模型一致的所有可能观测数据 (D_l) 是等概率的。使用多项术语，我们得到：
[P(Data | T) = \prod_{l\in L} P(D_l|M) \prod_{l\in L} \left[(1 - W_l) \times \frac{1}{N_{l.}!/N_{l.1}!.N_{l.2}!. \cdots N_{l.J}!} + W_l \times \sum_{t} \frac{1}{(N_{l..t}!/N_{i.1t}!. \cdots N_{i.Jt}!)} \right]]
通过结合先验和似然（分别为公式 3 和 4）并取其负对数，我们得到 (C(T))，从而证明了公式 2。

1.2 搜索算法

从数据集归纳出最优提升决策树是 NP 难问题。因此，学习最优决策树需要穷举搜索，并且仅限于非常小的数据集。所以，需要启发式方法来构建提升决策树。算法 1 根据全局准则选择最佳树。该算法仅在能最小化树的全局准则时，才会在所有终端节点的所有可能分割中选择一个分割。只要全局准则得到改善，算法就会继续。由于决策树是特征空间的划分，未来实例的预测就是其对应叶节点的平均提升。该算法是确定性的，因此总是会导致相同的局部最优解。实验表明了所构建树的质量。

Algorithm 1: U