33、因果发现与机器学习：高级深度学习及拓展

因果发现与机器学习：高级深度学习及拓展

1. 因果发现模型回顾与新方法引入

此前介绍了四类因果发现模型，分别是基于约束、基于分数、基于功能和基于梯度的模型，这些模型各有优缺点。现在，将引入一些旨在解决这些局限性的方法和理念。

1.1 DECI框架概述

DECI（Deep End-to-end Causal Inference）是一个深度学习端到端因果发现和推理框架，它建立在“DAGs with NO TEARS”论文的核心思想之上，适用于具有加性噪声的非线性数据，且需满足极小性和无隐藏混杂假设。接下来将探讨其架构和主要组件，并将其应用于一个合成数据集，通过向图中注入专家知识来帮助模型收敛。

1.2 生成模型与因果关系

近年来，生成模型备受关注，如ChatGPT、DALL - E 2和Midjourney等。不过，生成模型的思想可追溯到19世纪Adolphe Quetelet和Karl Pearson的早期工作。当代因果发现与生成建模有诸多联系，例如DECI使用因果自回归流，而结构不可知模型（SAM）则利用生成对抗网络（GANs）。

1.3 自回归流与因果模型的联系

自回归流是归一化流框架的一个子集，传统上用于变分推断，以通过变换更简单的分布来高效学习复杂分布。它将变量 $X_k$ 的分布估计为其前面变量的函数。当变量有序且其值仅依赖于前面的变量时，这类似于结构因果模型（SCM），其中节点的值仅取决于其父节点的值。Ilyes Khemakhem等人提出了具有变量因果排序的自回归流框架（CAREFL），DECI在此基础上，以自回归方式对给定图的数据似然性进行建模。此外，该模型学习图的后验分布而