crf笔记

博客围绕CRF(条件随机场算法)展开,介绍其求解用到viterbi和逻辑回归知识点。详细阐述了基本公式,包含特征函数、转移特征函数、状态特征函数及对应权值等,还进行了化简,并给出简化版,最后提及参考书籍为《统计学习方法——李航》。

CRF(conditional random field algorithm)

求解用到的知识点是 viterbi+ lr( logistics regression)

1、基本公式

p(y|x) = \tfrac{1}{Z(x)} exp\left ( \sum _{i,k} \lambda_{k}t_{k}(y_{i-1},y_{i},x,i)+ \sum _{i,l} \mu _{l}s_{l}(y_{i},x,i)\right )

Z(x) = \sum_{y} exp \left( \sum_{i,k} \lambda _{k}t_{k} (y_{i-1},y_{i},x,i) + \sum_{i,l}\mu_{l}s_{l}(y_{i},x,i) \right )

t_ks_l是特征函数,t_k转移特征函数,s_l状态特征函数,\lambda_k\mu_l是对应的权值,Z(x)是规范因子,求和是在所有可能的输出序列上进行的。

2、化简

\LARGE f_k(y_{i-1},y_i,x,y) =\bigl\{\begin{smallmatrix} t_k(y_{i-1},y_i,x,i), & k=1,2,\cdot \cdot \cdot , K_1 \\ s_l(y_i,x,i), & k=K_1 + l; l=1,2,\cdot \cdot \cdot , K_2 \end{smallmatrix}

设有K_1个转移特征,K_2个状态特征, K = K_1+K_2

\large f_k(y,x) = \sum_{i=1}^n f_k(y_{i-1},y_i,x,i), k=1,2,\cdot \cdot \cdot,K

3、简化版

p(y|x) = \tfrac{1}{Z(x)} exp\left ( \sum_{k=1}^{K} w_{k}f_{k}(y,x) \right )

Z(x) = \sum_{y} exp \left( \sum_{k=1}^{K}w_{k}f_{k}(y,x) \right )

 

 

 

 

 

参考:统计学习方法——李航

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值