54、新型语义相似度计算与三部分神经文档语言模型

新型语义相似度计算与三部分神经文档语言模型

在信息处理和检索领域，语义相似度计算和文档语言模型是重要的研究方向。本文将介绍一种基于词性标注的新型语义相似度方法（POSDC）的优势，以及一种用于语义信息检索的三部分神经文档语言模型。

基于词性标注的新型语义相似度方法（POSDC）

POSDC的核心创新点在于，与LDA或doc2vec不同，它不需要在大型语料库上进行预先训练。它利用职位描述的内在语义，通过可用字典来寻找相似度。实验结果表明，它始终优于doc2vec，并且在可用训练语料较小时，甚至优于基于LDA的方法。

不过，当前的方法假设文档中同一动作 - 对象 - 属性三元组没有重复或替代描述。如果存在这种情况，一个职位中的同一三元组可能会与另一个职位中的不同三元组匹配。为了解决这个问题，可以先将职位描述与自身进行匹配，然后移除匹配得分高于阈值的动作 - 对象 - 属性三元组对。

未来的研究方向包括为其他通用文档定义类似的范式，以及更具领域针对性而非问题针对性的研究。例如，可以将职位标题的相似度与POSDC相结合，以改进RISE方法。

语义信息检索中的语义差距问题

在信息检索（IR）中，语义差距是一个长期存在的研究课题。它指的是文档和/或查询内容的低级描述（通常是词袋）与它们的高级含义之间的差异。这种差距阻碍了查询 - 文档匹配，而这是响应用户查询选择相关文档的关键步骤。语义差距通常源于以下几个方面：
- 词汇不匹配 ：不同形式的单词具有相同的含义，例如“car”和“motorcar”是同义词。
- 粒度不匹配 ：不同形式和