4、关系学习中的条件随机场入门

关系学习中的条件随机场入门

1. 引言

关系数据具有两个特点：一是要建模的实体之间存在统计依赖关系；二是每个实体通常有丰富的特征，有助于分类。例如，在对网页文档进行分类时，页面文本能提供很多关于类别标签的信息，而超链接则定义了页面之间的关系，可提升分类效果。

传统上，图形模型用于表示联合概率分布 $p(y, x)$，但在处理关系数据中的丰富局部特征时会遇到困难，因为需要对 $p(x)$ 进行建模，而这可能包含复杂的依赖关系。一种解决方案是直接对条件分布 $p(y|x)$ 进行建模，这正是条件随机场（CRFs）所采用的方法。CRF 是具有相关图形结构的条件分布 $p(y|x)$，由于模型是条件性的，不需要显式表示输入变量 $x$ 之间的依赖关系，从而可以使用丰富的全局特征。

2. 图形模型

2.1 定义

考虑随机变量集合 $V = X ∪ Y$ 上的概率分布，其中 $X$ 是假设已观察到的输入变量集合，$Y$ 是要预测的输出变量集合。每个变量 $v ∈ V$ 的结果来自集合 $V$，这里只讨论离散情况。

• 无向图形模型 ：可以写成 $p(x, y) = \frac{1}{Z} \prod_{A} Ψ_A(x_A, y_A)$ 的所有分布的集合，其中 $Z = \sum_{x,y} \prod_{A} Ψ_A(x_A, y_A)$ 是归一化因子，确保分布总和为 1。$Z$ 被称为分区函数，一般情况下计算它是难以处理的，但有很多关于如何近似计算的研究。
• 有向图形模型 ：也称为贝叶斯网络，基于有向图 $G =