NLP学习笔记01

简介

NLP就是计算机使用自然语言作为输入和输出，让电脑与人进行沟通的中间步骤，大致可分为：机器翻译，信息提取，文本归纳，对话系统...

语言模型

我们有有限个数的词汇

无限个数的句子，有词汇自由组成，而语言模型就是判断这个句子是否像人说的话，对于计算机来讲很难，所以用概率分布来体现一个句子的正确性：

其中是所有句子的集合

比较典型的有马尔科夫模型、隐马尔可夫模型、条件随机场等

三元语言模型

满足：

1、一个词的集合V；

2、一个参数q(w|u,v)其中w,u,v满足

对于x1...xn，有xn属于｛STOP｝，(x1...xi...xn)均属于V，且

设

例：

语言模型衡量指标

1、计算复杂度

2、测试效果