NLP简介

NLP：分为NLU与NLG。

NLU：Nature Language Understand

NLG：

NLP现存的挑战：

（1）一种意思可能有多种表达方式。例如：

（2）一词多义(Ambiguity)，在NLP中可以通过上下文来解决该问题。例如：

Context：上下文

隐马尔可夫模型（HMM）：

NLP经典场景：

（1）问答系统（基于检索的方法）

（2）情感分析

（3）机器翻译

（4）自动提取摘要

（5）聊天机器人

（6）信息抽取

语料库：问答对

NLP处理流程

（1）分词

（2）NLP预处理：

拼写纠错---->原型--->停用词过滤--->特殊字符过滤--->同义词替换

（3）文本表示：

将文本转换为向量，有4种方案：

word2vec

（4）计算相似度

（5）根据相似度排序

（6）过滤

（7）返回结果