深度文本匹配在智能客服中的应用

目录

一. 深度文本匹配的简介

1. 文本匹配的价值

2. 深度文本匹配的优势

3. 深度文本匹配的发展路线

二. 智能客服的简介

1. 智能客服的应用背景

2. 智能客服的核心模块

• FAQ 库的构建

• 语义召回

• 相似度模型

• 模型更新

三. 深度文本匹配在智能客服中的应用

1. 为什么使用深度文本匹配

2. 怎么样使用深度文本匹配

• 深度文本匹配模型

• 文本匹配引擎

3. 深度智能客服的效果评测

四. 参考

 

▌一、深度文本匹配的简介

1. 文本匹配的价值

文本匹配是自然语言理解中的一个核心问题，它可以应用于大量的自然语言处理任务中，例如信息检索、问答系统、复述问题、对话系统、机器翻译等等。这些自然语言处理任务在很大程度上都可以抽象成文本匹配问题，比如信息检索可以归结为搜索词和文档资源的匹配，问答系统可以归结为问题和候选答案的匹配，复述问题可以归结为两个同义句的匹配，对话系统可以归结为前一句对话和回复的匹配，机器翻译则可以归结为两种语言的匹配。

 

2. 深度文本匹配的优势

传统的文本匹配技术如图1中的 BoW、TFIDF、VSM等算法，主要解决词汇层面的匹配问题，而实际上基于词汇重合度的匹配算法存在着词义局限、结构局限和知识局限等问题。

• 词义局限：的士和出租车虽然字面上不相似，但实为同一种交通工具；而苹果在不同的语境下表示的东西不同，或为水果或为公司；

• 结构局限：机器学习和学习机器虽词汇完全重合，但表达的意思不同；

• 知识局限：秦始皇打 Dota，这句话虽从词法和句法上看均没问题，但结合知识看这句话是不对的。

传统的文本匹配模型需要基于大量的人工定义和抽取的特征，而这些特征总是根据特定的任务（信息检索或者自动问答）人工设计的，因此传统模型在一个任务上表现很好的特征很难用到其他文本匹配任务上。而深度学习方法可以自动从原始数据中抽取特征，省去了大量人工设计特征的开销。首先特征的抽取过程是模型的一部分，根据训练数据的不同，可以方便适配到各种文本匹配的任务当中；其次，深度文本匹配模型结合上词向量的技术，更好地解决了词义局限问题；最后得益于神经网络的层次化特性，深度文本匹配模型也能较好地建模短语匹配的结构性和文本匹配的层次性[1]。

 

3. 深度文本匹配的发展路线

 

图 1 深度文本匹配的发展路线

 

随着深度学习在计算机