CRF模型详解

条件随机场(CRF)是自然语言处理中的基础模型, 广泛用于分词, 实体识别和词性标注等场景. 随着深度学习的普及, BILSTM+CRF, BERT+CRF, TRANSFORMER+CRF等模型, 逐步亮相, 并在这些标注场景, 效果有显著的提升.

下面是我学习CRF的学心总结, 看了多篇知乎, paper, 和CRF++的实现代码后, 终于有了深刻的理解.

基础概念

首先, 一起看一下随机过程, 随机场, 马尔可夫随机场的定义, 在最后请出条件随机场.

随机过程:
设 ​​​​​​​$T$是一无限实数集, 把依赖于参数$t\in T$的一族(无限多个)随机变量称为随机过程, 记为 $X(t),t\in T$

随机场: 从平面(随机过程)到向量空间(随机场)
若$T$是$n$维空间的某个子集, 即$t$是一个$n$维向量, 此时随机过程又称为随机场. 常见随机场有: 马尔可夫随机场(MRF), 吉布斯随机场(GRF), 条件随机场(CRF)和高斯随机场.

马尔可夫随机场:
具有马尔可夫性的随机场.
马尔可夫性: $P(Y_v|Y_w,w\ne v)=P(Y_v|Y_w,w\sim v)$

• $w\sim v$表示在图$G=(V,E)$中与顶点$v$有边连接的所有顶点$w$
• $w\ne v$表示顶点$v$以外的所有顶点
• $Y_v$与$Y_w$为顶点$v$与$w$对应的随机变量

那么, 条件随机场是如何定义的呢?

条件随机场:

设$X$与$Y$是随机变量, $P(Y|X)$是在给定$X$的条件下YY