One2zeror的专栏

统计语言模型 (Statistical Language Models)介绍： 在语言处理领域，比如翻译、识别语音、文字识别和进行海量文献的自动检索，出现了两种最基本的方法。第一种方法比较直接，就是让机器像人一样理解语言。为了解决这个问题，人们想到的办法就是让机器模拟人类进行学习 - 学习人类的语法、分析语句等等。遗憾的是，几十年过去了，在计算机处理语言领域，基于这个语法规则的方法几乎毫无突破。

中文分词：统计语言模型在中文处理中的一个应用　　前一篇文章（数学之美笔录(1):统计语言模型）我们提到使用统计语言模型进行自然语言的处理，而这些语言模型是建立在词的基础上，因为词是表达语义的最小单位。西方的拼音语言，词之间有明确的分界符，统计和使用语言模型处理相对简单。而对于汉语等东方语言，词之间没有明确的分界符（比如：我颜值很高。没有像英文一样的空格之类的分界符），这就需要先对句子进行中文分词。

在之前的文章( 贝叶斯方法及其应用(1)）中我们谈到了贝叶斯公式，也提到了后验概率 = 先验概率*标准相似度。　　那么对于贝叶斯公式P(A│B)=P(A∩B)/P(B) =P(A)(P(B|A))/P(B) ，之前提到如果”可能性函数”P(B|A)/P(B)>1，意味着”先验概率”被增强，事件A的发生的可能性变大；如果”可能性函数”=1，意味着B事件无助于判断事件A的可能性；如果”可能性函数”<1，