21、优化查询与文档表示：DeepCT与HDCT技术解析

优化查询与文档表示：DeepCT与HDCT技术解析

在信息检索领域，如何优化查询和文档的表示，以提高检索效果是一个关键问题。本文将介绍两种相关技术：DeepCT和HDCT，探讨它们的原理、优势以及应用场景。

1. doc2query技术的局限性

在处理大规模语料库时，某些方法可能会面临计算成本过高的问题。对于MS MARCO语料库的研究人员来说，doc2query通常不是问题，因为Nogueira和Lin [2019]已将他们在标准语料库上的查询预测公开提供下载，使得doc2query几乎成为一种可以与其他技术集成的“免费提升”方法。然而，与其他常用的学术测试集（如ClueWeb网络爬虫数据）相比，MS MARCO语料库相对较小。在这些更大的数据集上应用doc2query需要更多的计算资源，这给学术研究带来了障碍。此外，目前doc2query的结果主要基于段落，对于更长的文本如何应用该技术仍有待探讨。

2. 基于回归的词项重加权：DeepCT

2.1 背景与动机

doc2query的结果表明，文档扩展有两个不同但互补的效果：添加原始文本中不存在的新扩展词项，以及重复文本中已有的词项。重复词项的作用是对原始文本中的词项进行重加权，但使用序列到序列模型来生成词项似乎是一种低效且迂回的方式。

以BM25分数为例，它主要由词项频率和文档频率两部分组成。在不考虑长度归一化的情况下，词项频率（即词项在特定文本中出现的次数）是试图捕捉词项在文本中重要性的主要特征，因为BM25的文档频率部分对于相同长度的不同文本中的同一词项是相同的。然而，很明显，词项可能具有相同的词项频率，但在文本中所起的“重要性”却不同。