Notes on language modeling-COMS W4705: Natural Language Processing-学习笔记

COMS W4705: Natural Language Processing

1. 语言模型在广泛的应用中非常有用，最明显的也许是语音识别和机器翻译。
2. 在语音识别中，语言模型与为不同单词的发音建模的声学模型相结合：一种思考的方法是，声学模型会生成大量候选句子以及概率；然后使用语言模型根据这些可能性成为该语言中的句子的可能性对这些可能性重新排序。
3. 语言模型中使用最为广泛的模型叫做Markov模型。Trigram语言模型，这是一类重要的语言模型，直接建立在Markov模型的思想上。
4. Bias-Variance----简单的模型容易欠拟合，复杂的模型容易过拟合, 不能单单看perplexity来说一个模型的好坏。