语言模型概念

1.什么是语言模型？

        可以把文本看作是一串离散的时间序列

        语言模型的任务就是计算文本T出现的概率

2.语言模型有什么用呢？

        判断一句话是否合理

3.怎么计算语言模型？

 贝叶斯定理：

4.语言模型的两个问题

        参数空间过大和数据稀疏严重

 5.引入马尔科夫假设简化了语言模型的计算

一元语法模型：每一个词是独立的，

二元语法模型：每一词只与前面的一个词相关

三元语法模型：当前词的概率与前面两个词相关。

 6.词向量