crf笔记

最新推荐文章于 2019-08-17 09:54:00 发布

ziyue246

最新推荐文章于 2019-08-17 09:54:00 发布

阅读量346

点赞数

CC 4.0 BY-SA版权

分类专栏：机器学习

本文链接：https://blog.youkuaiyun.com/ziyue246/article/details/90574701

机器学习专栏收录该内容

11 篇文章

订阅专栏

博客围绕CRF（条件随机场算法）展开，介绍其求解用到viterbi和逻辑回归知识点。详细阐述了基本公式，包含特征函数、转移特征函数、状态特征函数及对应权值等，还进行了化简，并给出简化版，最后提及参考书籍为《统计学习方法——李航》。

CRF(conditional random field algorithm)

求解用到的知识点是 viterbi+ lr( logistics regression)

1、基本公式

$p(y|x) = \tfrac{1}{Z(x)} exp\left ( \sum _{i,k} \lambda_{k}t_{k}(y_{i-1},y_{i},x,i)+ \sum _{i,l} \mu _{l}s_{l}(y_{i},x,i)\right )$

$Z(x) = \sum_{y} exp \left( \sum_{i,k} \lambda _{k}t_{k} (y_{i-1},y_{i},x,i) + \sum_{i,l}\mu_{l}s_{l}(y_{i},x,i) \right )$

$t_k$ 和 $s_l$ 是特征函数， $t_k$ 转移特征函数， $s_l$ 状态特征函数， $\lambda_k$ 和 $\mu_l$ 是对应的权值， $Z(x)$ 是规范因子，求和是在所有可能的输出序列上进行的。

2、化简

$\LARGE f_k(y_{i-1},y_i,x,y) =\bigl\{\begin{smallmatrix} t_k(y_{i-1},y_i,x,i), & k=1,2,\cdot \cdot \cdot , K_1 \\ s_l(y_i,x,i), & k=K_1 + l; l=1,2,\cdot \cdot \cdot , K_2 \end{smallmatrix}$

设有 $K_1$ 个转移特征， $K_2$ 个状态特征， $K = K_1+K_2$

$\large f_k(y,x) = \sum_{i=1}^n f_k(y_{i-1},y_i,x,i), k=1,2,\cdot \cdot \cdot,K$

3、简化版

$p(y|x) = \tfrac{1}{Z(x)} exp\left ( \sum_{k=1}^{K} w_{k}f_{k}(y,x) \right )$

$Z(x) = \sum_{y} exp \left( \sum_{k=1}^{K}w_{k}f_{k}(y,x) \right )$

参考：统计学习方法——李航