16、从单阶段到多阶段重排器：文本重排的高效解决方案

从单阶段到多阶段重排器：文本重排的高效解决方案

1. 多阶段排序架构概述

多阶段排序架构是对 monoBERT 采用的检索 - 重排方法的直接推广。在有效性/效率设计空间中，存在一个前沿，在此前沿上没有其他设置能在实现更高的 MRR@10 的同时需要更少的推理次数。这个前沿为系统设计人员在选择理想的操作点时提供了指导。

多阶段排序架构的优势在于，在管道中引入多个重排器极大地扩展了端到端系统在有效性/效率权衡空间中的可能操作点，有可能实现比单阶段重排器更好、更快的设置。然而，其潜在的缺点是，多阶段管道引入了额外的“调节旋钮”，需要进行适当调整才能实现所需的权衡。在 monoBERT/duoBERT 设计中，这些参数设置（k0; k1）难以学习，因为管道不是端到端可微的，因此不同参数设置的影响必须通过测试集进行经验性确定。

2. 文本列表重排方法

2.1 成对和列表式重排的概念

给定一个查询，duoBERT 模型通过将两个文本直接输入 BERT 进行单次推理，来估计一个文本相对于另一个文本的相关性。这种成对方法比基于相关性分类的点式重排器（如 monoBERT）更有效，因为它允许重排器“看到”候选集中的其他文本。列表式方法是成对方法的自然扩展，它联合估计一个文本与多个其他候选文本的相关性。

在介绍列表式重排方法之前，有两个重要的注意事项：
- “成对”和“列表式”这里明确指的是推理输入模板的形式，这自然需要在模型训练期间修改损失函数。这与“传统”（即神经前）的学习排序中仅描述损失形式的用法不同。
- 列表式方法虽然可能未在多阶段排序架构的背景下明确提出，但由于与 duoBERT 相同的原因，它是自