28、隐马尔可夫模型与转导语法归纳的研究进展

隐马尔可夫模型与转导语法归纳的研究进展

1. 隐马尔可夫模型（HMM）估计方法对比

在语言模型的研究中，对于隐马尔可夫模型（HMM）的估计是一个重要的课题。研究人员对比了两种主要的HMM估计技术：矩方法（如sHMM和HKZ）和回归方法。这些方法都继承了通过投影矩阵U将高维观测空间X中的观测值降维到低维空间Y的优势，Y空间能够捕捉隐藏状态的固有信息，并且与隐藏状态具有相同的维度，可以看作是隐藏状态空间的线性变换。

矩方法模型估计简单，只需要一元、二元和三元语法计数，不需要递归估计（仅需递归预测）。而回归方法在估计HMM时具有更大的灵活性。当训练数据有限时，可以使用简单的线性模型；当有更多数据时，可以使用与sHMM模型相同的双线性模型。对于缓慢变化的HMM（例如转移矩阵的第二特征值接近1时）或不认为HMM模型完全正确时，可以使用更长的历史信息进行估计。此外，如果有词性标签等更丰富的特征集，也可以添加到回归模型中。

以下是不同训练序列长度下，不同模型在不同语料库词汇大小上的对数困惑度对比表格：
| 训练序列长度 | 语料库词汇大小1000词对数困惑度 | 语料库词汇大小10000词对数困惑度 |
| ---- | ---- | ---- |
| 1K | sHMM: 4, BilinRRegr: 4, BilinRegr: 4, LinRRegr: 4, LinRegr: 4, LinRegr1: 4, HKZ: 4, EM: 4 | sHMM: 5, BilinRRegr: 5, BilinRegr: 5, LinRRegr: 5, LinRegr: 5, LinRegr1: 5, HKZ: 5 |
| 10K | sHMM: 5, Bilin