一般来说,智能客服有3个功能实现:QABot,TaskBot,ChatBot。其中QAbot中包括FAQ,KBQA。
这里我来谈一下FAQ中知识点的一般方法吧。
一般来说,最开始产品经理会结合业务知识和经验,人工的总结出一些常见的标准问题和答案对,同时会做一些问句改写的工作。一般来说,一个标准问会写个3-5个相似问法,Q-Q paire是业内的通用做法,至于为什么这么做,请参考https://zhuanlan.zhihu.com/p/50799128。但是这对于后续的FAQ工作是远远不够的。所以一般需要根据线上的客服对话数据做一个标准问句的扩充。

一般的方法是,
1.先将聊天数据进行清洗,诸如格式对齐,敏感词处理等
2.利用match model对标准问题进行相似度计算,冷启动没有match model时,可以采用tf-idf,bm25+wmd,word2vec+cos等方法,获得相似度的语句,构成候选数据。
3.对候选数据进行人工标注,作为知识库的标准句扩充问法,加入知识库。
4.收集扩充后的语料,进行翻译,EDA(网页)等方法进行match model的迭代训练。并将其用于第二步中。
以上便是对于标准问句扩充的一般方法,但是仅仅扩充标准问句还是不够的,我们还需要挖掘一下新的知识点。