ColBERT（2020SIGIR）_colbert模型-优快云博客

在这里插入图片描述

 ColBERT: Eficient and Efective Passage Search via Contextualized Late Interaction over BERT

1.介绍

预训练的LM在IR上计算成本太高。本文考虑降低计算成本的同时，保证检索性能，并且结合基于表示和交互的模型（如下图 $d$ ）。
预训练LM带来的显著提升是以计算成本为代价的：下图展示了各个检索模型的计算成本，所有的model在Tesla V100 GPU上对MS MARCO上Ranking
在这里插入图片描述
为了协调信息检索中的效率和语境化，作者提出了 $C$ $o$ $l$ $B$ $E$ $R$ $T$ ：基于上下文化的后期交互的排序模型–contextualized late interaction over BERT 。ColBERT提出了一种新的后期交互范式，用于估计查询 $q$ 和文档 $d$ 之间的相关性。在后期交互下， $q$ 和 $d$ 被分别编码到两组上下文嵌入中，并且相关性是使用两组之间廉价且 $p$ $r$ $u$ $n$ $i$ $n$ $g$ - $f$ $r$ $i$ $e$ $n$ $d$ $l$ $y$ 的计算来评估的——也就是说，快速计算能够在不穷举评估每个可能的候选项的情况下进行排名。整体框架看下图右👉IR模型对比

IR模型对比：
在这里插入图片描述
( $d$ ):每个查询 embedding 都通过MaxSim操作符与所有文档嵌入交互，MaxSim操作符计算最大相似度(例如cos)，并且这些操作符的标量输出在查询项之间求和。这个范例允许 $C$ $o$ $l$ $B$ $E$ $R$ $T$ 可以利用基于LM的深度表示，同时将编码文档的成本转为offline，并在所有已排序文档中一次性摊销编码查询的成本。此外，它使Colbert能够利用向量相似度搜索索引（FAISS）直接从大型文档集中检索前 $k$ 个结果，从而大大改善了仅基于术语的re-rank模型的召回率。