22、查询与文档表示的优化与扩展

查询与文档表示的优化与扩展

在信息检索领域，查询和文档的表示优化与扩展一直是重要的研究方向。下面将详细介绍几种相关技术及其特点。

1. HDCT 与 doc2query–T5 的比较

HDCT 和 doc2query–T5 是两种不同的文档处理技术。在 MS MARCO 文档排名测试集上，HDCT 的 BM25 结果与 doc2query–T5 相当。doc2query–T5 在处理文档时，先将文档分割成段落，对每个段落独立进行扩展以生成预测查询，最后将所有预测结果连接并附加到原始文档上。

不过，doc2query–T5 的简单文档扩展方法可能并非完全合适。因为长文本的并非所有部分都具有同等的相关性，而该方法会对所有段落进行扩展，可能会稀释“重要”段落高质量预测的影响。HDCT 试图通过段落权重来捕捉类似的直觉，但由于缺乏段落级别的判断而受到限制。

HDCT 基于 DeepCT 提供了三个重要的经验：
- 为 BERT 的长度限制提供了相对简单的解决方案，使 DeepCT 的思想能够应用于更长的文本。
- 虽然可以通过手动相关性判断学习准确的术语加权模型，但使用伪相关文档的标签进行弱监督可以获得约 65% 的完全监督方法的收益。
- 仅使用 HDCT 进行术语重新加权所带来的有效性提升与将 doc2query 简单扩展到长文本的效果相当，这表明在完善全文本的文档扩展技术方面仍有工作要做。

2. DeepImpact：结合术语扩展与术语加权

doc2query 相对于 DeepCT 和 HDCT 的优势在于它能够生成原始文本中不存在的术语，从而增加文本在不同查询表述下被检索到的可能性，解决