23、用于排序的学习型密集表示

用于排序的学习型密集表示

现代深度学习技术为文本排序带来的最大好处之一，是从主要局限于精确匹配的稀疏信号，转向能够捕捉语义匹配以更好地建模相关性的连续密集表示。借助所谓的密集检索技术，我们可以直接在向量表示（自然是由变换器生成的）上进行排序。这种方法有可能通过在“捕捉意义”的表示空间中直接进行相关性匹配，来解决词汇不匹配问题，而不是对基于关键词的第一阶段检索的输出进行重新排序，后者仍然依赖于稀疏的精确匹配信号。

1. 密集表示的潜力与背景

密集表示在分析自然语言方面的潜力最初是通过词嵌入在词类比任务中得到证明的，这通常被视为自然语言处理（NLP）“神经革命”的开端。然而，当我们尝试为更大的文本片段（短语、句子、段落和文档）构建连续表示时，文本排序中出现的许多相同问题就会凸显出来。在这里，我们可以看到信息检索中的相关性概念与NLP中的文本相似性概念之间存在着密切的关系。

2. 任务表述

文本排序的核心问题与之前的设定相同：假设存在一个由任意数量文本组成的语料库 $C = {d_i}$。给定一个查询 $q$，任务是从 $C$ 中生成一个前 $k$ 个文本的排序，以最大化某种质量指标。在多阶段排序架构中，这是通过使用关键词搜索（即基于稀疏的词袋表示）进行第一阶段检索，然后使用一个或多个基于BERT或其他变换器架构的重排器（基于密集表示）来实现的。

而密集检索有不同的设定。在基本问题表述中，我们希望学习一些变换 $\eta$，将查询和语料库中的文本从标记序列转换为固定宽度的向量，分别表示为 $\eta_q(\cdot)$ 和 $\eta_d(\cdot)$，使得在给定特定的相似性比较函数 $\phi$ 时，与查询相关的文本的 $\eta_q(\