《AI大模型开发笔记》NLP基础——4、HMM与CRF模型

一、HMM模型

1、HMM模型的输入和输出

HMM（Hidden Markov Model），中文称作隐含马尔可夫模型，因俄国数学家马尔可夫而得名。它一般以文本序列数据为输入，以该序列对应得隐含序列为输出。

什么是隐含序列：

序列数据中每个单元包含得隐性信息，这些隐性信息之间也存在一定关联。

举个列子：

给定一段文本: "人生该如何起头"

我们看到的这句话可以叫做: 观测序列

我们可以将这句话以词为单位进行划分得到:

["人生", "该", "如何", "起头"]

那么每个词对应的词性就是它的隐含序列, 如: 

["n", "r", "r", "v"]

2、HMM模型的作用

在NLP领域，HMM用来解决文本序列标注问题。如分词，词性标注，命名实体识别都可以看作是序列标注问题。

HMM模型使用过程简述

首先，HMM模型表示为：lambda = HMM(A, B, pi)，其中A, B, pi都是模型的参数，分别称作：转移概率矩阵，发射概率矩阵和初始概率矩阵。

接着，开始训练HMM模型，语料就是事先准备好的一定数量的观测序列及其对应的隐含序列，通过极大似然估计求得一组参数，使由观测序列到对应隐含序列的概率最大。

在训练过程中，为了简化计算，马尔可夫提出一种假设：隐含序列中每个单元的可能性只与上一个单元有关，这个假设就是著名的隐含假设。

训练后，就得到了具备预测能力的新模型：lambda = HMM(