BiLSTM_CRF-序列标注

CRF Layer

emission score:

这个分数来自于BiLSTM层，即是下图黄色框框中的值

transition score
表示从一个状态转移到另一个状态的可能性，在模型开始训练前随机初始化，在训练的过程中实现更新。

loss function
$LossFunction = \frac{P_{realpath}}{P_1 +P_2 +...+P_N}$
在训练过程中参数是不断发生变化的，真实的路径的分数值会不断提升。整个计算只需要知道两个分数值：一个是实际路径分数和所有可能的路径分数值。

read path score
$S_i = EmissionScore + TransitionScore$

total score of all paths

需要找到一种有效的方法来计算$log(e^{S_1} + e^{S_2} + ...+e^{S_N})$

下面用一种动态规划的方法来计算：
假设 $x={w_0, w_1, w_2}$, $labelSet =\{l_1, l_2\}$

大题思路是我们先计算$w_0 -> w_1$ 然后再利用这个结果去计算
$w_0->w_1 ->w_2$

$TotalScore(w_0) = log(e^{x_{01}} + e^{x_{02}})$

$w_0 -> w_1$

$previouds = \begin{pmatrix} x_{01} & x_{01} \\ x_{02} & x_{02} \end{pmatrix}$
表示的上一步的状态
$obs= \begin{pmatrix} x_{11} & x_{12} \\ x_{11} & x_{12} \end{pmatrix}$
表示从当前字符出发
$scores = \begin{pmatrix} x_{01} & x_{01} \\ x_{02} & x_{02} \end{pmatrix} + \begin{pmatrix} x_{11} & x_{12} \\ x_{11} & x_{12} \end{pmatrix} + \begin{pmatrix} t_{11} & t_{12} \\ t_{21} & t_{22} \end{pmatrix}$

所以求和后，分别表示1->1 ,1->2 ,2->1, 2->2

$w_0->w_1 ->w_2$

用相同的方法扩展下

$obs= \begin{pmatrix} x_{21} & x_{22} \\ x_{21} & x_{22} \end{pmatrix}$
相加后可得：

所以最后结果为：

即为所求。