24、电话对话主题识别：词与语义特征的融合

电话对话主题识别：词与语义特征的融合

1. 引言

近年来，人类对话自动分析的研究热度不断上升，其中话题识别是一个兼具科学价值和实际意义的研究方向。然而，在不可预测的声学环境中，准确识别真实电话对话里的多个话题仍颇具挑战。

以巴黎公共交通系统客服中心的对话为例，其目的是收集客户讨论问题的统计数据，以监控用户需求并确定问题解决的优先级。由于时间限制，客服人员难以充分记录对话主题，因此需要一个自动主题识别系统。该系统必须包含自动语音识别（ASR）模块，但由于声学环境复杂、客户语言能力差异等因素，ASR系统的词错误率（WER）可能很高。

常见的话题识别特征包括潜在语义分析（LSA）、概率潜在语义分析（pLSA）和潜在狄利克雷分配（LDA）等方法提取的特征。其中，LDA特征能在有限维度的潜在空间中提供丰富的表示。研究发现，通过改变词表大小和隐藏主题数量，主题分类准确率会有较大变化，因此提出将不同隐藏空间和参数下获得的特征集整合为一个c向量，其中元素为有限判别词的一元概率时效果最佳。

2. 主题识别使用的特征

本次应用的语料库标注了八个对话主题，分别是行程问题、失物招领、时刻表、交通卡、交通状况、票价、违规和特别优惠。为了进行主题识别，考虑了三种类型的特征：
- 词特征 ：
- 应用词汇表VW中的所有单词都被视为主题识别的特征。对于每个对话，构建一个二进制值向量W，若对应单词出现在对话中，向量元素值设为1。
- 形成一个判别词词汇表VD，包含VW中排名前116的单词，通过词频（TF）、逆文档频率（IDF）和主题中单词纯度的乘积进行排名。使用LDA在r维隐藏空间中计算判别词的一元概率