14、序列标注模型：从隐马尔可夫到判别式模型

序列标注模型：从隐马尔可夫到判别式模型

1. 维特比算法复杂度分析

在算法分析中，不同的维特比算法版本有着不同的渐近复杂度。算法 7.2 的渐近复杂度为[具体复杂度]，相较于算法 7.1 一阶情况下的[具体复杂度]更大。这是因为对于每个单词，算法 7.2 增加了对[相关元素]的额外循环。主要原因在于使用了[某特征]作为特征，该特征对更大的上下文进行建模，从而改变了增量步骤的复杂度。

一般来说，动态规划解码器的运行时复杂度由特征范围决定。特征越不局部，动态规划中的增量步骤就越复杂，渐近复杂度也就越大。而对于局部模型，解码则相对简单，因为序列的概率没有被显式建模，每个单词是单独标注的。算法 7.1 和算法 7.2 都被称为维特比算法，以美国电气工程师安德鲁·维特比命名。

2. 寻找边缘概率

结构化模型将输出序列作为一个整体进行评分，考虑子结构之间的相互依赖关系。但有时需要分离出一个子结构来研究其自身特征。以词性标注任务为例，一个典型问题是找到某个标签分配的概率。由于结构化模型给出了完整标签序列的概率，[某概率]可以通过对所有[相关元素]的概率求和，作为边缘概率来计算。

然而，直接计算[某公式]的值包含[具体数量]个求和项，因此难以处理。对于隐马尔可夫模型（HMM），由于特征的局部性，动态规划是可行的。其思路与维特比算法类似，即利用特征的局部性逐步解决子问题。

由于[某元素]的位置可能在句子中间，我们首先使用贝叶斯规则将[某元素]分解为两个组件，一个由[组件 1]组成，另一个由[组件 2]组成，这样每个组件都可以使用动态规划逐步计算。具体来说，[某公式]提出了一个三步方法来计算[某概率]：
1. 计算[相关内容