38、条件随机场（CRF）：概念、定义与应用

条件随机场（CRF）：概念、定义与应用

1. 条件随机场概述

条件随机场（Conditional Random Field，CRF）是一种给定一组输入随机变量的情况下，关于一组输出随机变量的条件概率分布模型。其特点在于假设输出随机变量构成一个马尔可夫随机场。CRF可用于不同的预测问题，这里主要关注其在标注问题中的应用。线性链CRF是一种特殊的CRF，在标注问题中，它是一个判别模型，以对数线性模型的形式从输入序列预测输出序列。学习方法通常采用最大似然估计或正则化最大似然估计，线性链CRF在标注问题中的应用由Lafferty等人于2001年提出。

2. 概率无向图模型

2.1 模型定义

• 图的基本概念 ：图是节点和连接节点的边的集合。节点用 (v) 表示，边用 (e) 表示，节点集和边集分别用 (V) 和 (E) 表示，图记为 (G=(V, E))。无向图是边没有方向的图。
• 概率图模型 ：概率图模型是用图表示的概率分布。存在一个联合概率分布 (P(Y))，其中 (Y) 是一组随机变量。无向图 (G=(V, E)) 表示概率分布 (P(Y))，即图 (G) 中，节点 (v\in V) 表示随机变量 (Y_v)，(Y=(Y_v)_{v\in V})；边 (e\in E) 表示随机变量之间的概率依赖关系。
• 马尔可夫性质
  • 成对马尔可夫性质 ：设 (u) 和 (v) 是无向图 (G) 中任意两个没有边连接的节点，分别对应随机变