16、结构化概率模型在深度学习中的应用

结构化概率模型在深度学习中的应用

1 引言

深度学习不仅依赖于复杂的神经网络架构，还依赖于概率模型来处理不确定性。结构化概率模型（Structured Probabilistic Models）是描述概率分布的强大工具，尤其适用于深度学习。通过使用图形模型，我们可以清晰地表示变量之间的依赖关系，从而简化复杂的概率分布建模。本文将详细介绍无向图模型、基于能量的模型以及受限玻尔兹曼机（RBM），探讨它们在深度学习中的应用。

2 无向图模型

2.1 团与因子

无向图模型（Undirected Graphical Models），也称为马尔可夫随机场（Markov Random Fields），使用无向边来表示变量之间的相互作用。在无向图中，团（cliques）是指一组完全互联的节点。每个团对应于未归一化概率函数中的一个因子（factor）。例如，假设我们有一个无向图，其中包含三个节点 (a)、(b) 和 (c) 形成的团。我们可以用因子 (\phi(a, b, c)) 来表示这个团的相互作用。

无向图中的团和因子的关系如下：

团 (Clique)	因子 (Factor)
{a, b}	(\phi_1(a, b))
{b, c}	(\phi_2(b, c))
{a, c} <