文献分享: Muvera多向量到单向量的转化方法(Part1.导论/原理/实验)

$\text{1. }$导论与背景

$\text{1.1. }$研究背景

1️⃣两种文本相似性检索模型

类型	嵌入方式	相似度计算
单向量$\text{(SV)}$	对整个句子生成唯一的嵌入	$\text{MIPS}$算法，从一堆向量找出与$q$有最大内积的
多向量$\text{(MV)}$	对每个$\text{Token}$都生成一个嵌入	$\text{Chamfer}$相似度，也就是所谓的$\text{MaxSim}$之和

2️⃣多向量模型的问题：检索成本还是高过单向量

1. 空间占用上：$\text{Token}$数量过多，需要大量的存储
2. 计算成本上：缺乏对于$\text{Chamfer}$的优化，大多的优化只针对于$\text{MIPS}$而无法用在$\text{Chamfer}$上

3️⃣改进的尝试：将$\text{MV}$改为基于$\text{SV}$的$\text{MIPS}$流水(单向量启发式方法)

1. $\text{SV}$阶段：每个查询$\text{Token}\stackrel{\text{MIPS}}{\to }$最相似的文档$\text{Token}$
2. $\text{MV}$阶段：收集所有的最相似文档$\text{Token}$，再用原始$\text{Chamfer}$相似度得到最终评分

$\text{1.2. }$本文工作$\text{: Muvera}$概述

1️⃣$\text{Chamfer}$相似度

1. 相似度的定义：对查询$Q/$段落$P$的每个$\text{Token}(q/p)$，相似度为$\text{Chamfer}(Q,P)\text{=}\sum _{q\text{∈}Q}\underset{p\text{∈}P}{\max }⟨q,p⟩$
2. 扩展到最邻近：在$\mathcal{P}\text{=}\left\{P^{(1)},P^{(2)},\dots ,P^{(N)}\right\}$中找到与$Q$之间$\text{Chamfer}$相似度最高的文档$P^{\ast }\text{∈}D$

2️⃣$\text{Muvera}$概述

1. 核心思想：将所向量压缩为单向量，原有的$\text{Chamfer}$搜索也变成$\text{MIPS}$搜索
   • 维度压缩：特殊的映射函数$\{\begin{array}{l}{\mathbf{F}}_{\mathrm{que}}:2^{{\mathbb{R}}^d}\to {\mathbb{R}}^{d_{\mathrm{FDE}}}\\ \\ {\mathbf{F}}_{\text{doc}}:2^{{\mathbb{R}}^d}\to {\mathbb{R}}^{d_{\mathrm{FDE}}}\end{array}\text{→}$将多向量压缩为固定$d_{\text{FDE}}$维单向量编码
   • 相似度计算：用内积$⟨{\mathbf{F}}_{\mathrm{que}}(Q),{\mathbf{F}}_{\text{doc}}(P)⟩$作为原有$\text{Chamfer}(Q,P)\text{=}\sum _{q\text{∈}Q}\underset{p\text{∈}P}{\max }⟨q,p⟩$的替代
2. 工作流程：
   • 预处理：对所有文档进行${\mathbf{F}}_{\text{doc}}$映射得到${\mathbf{F}}_{\text{doc}}(P_i)$的固定维度编码($\text{FDEs}$)
   • 查询初排：对查询$Q$进行${\mathbf{F}}_{\text{que}}$映射得到${\mathbf{F}}_{\text{que}}(Q)$，计算$⟨{\mathbf{F}}_{\mathrm{que}}(Q),{\mathbf{F}}_{\text{doc}}(P_i)⟩$得到$\text{Top-}k$文档
   • 查询重排：再用完整的$\sum _{q\in Q}\underset{p\in P}{\max }⟨q,p⟩$相似度，对$\text{Top-}k$个文档进行重排
3. 备注的点：
   • ${\mathbf{F}}_{\text{doc}}/{\mathbf{F}}_{\text{que}}$是与数据分布无关，由此对不同分布的处理都有鲁棒性
   • $⟨{\mathbf{F}}_{\mathrm{que}}(Q),{\mathbf{F}}_{\text{doc}}(P_i)⟩$求解过程在高度优化的$\text{MIPS}$求解器中完成

$\text{2. }$固定维度嵌入($\text{FDEs}$)

$\text{2.1. FDE}$的生成过程

1️⃣文本嵌入：对查询文本和段落文本分别应用嵌入器(如$\text{ColBERTv2}$)，得到各自的多向量嵌入

1. 查询嵌入$Q$：{ q1,q2,...,qm}\{q_1,q_2,...,q_m\}{ q1​,q2​,...,qm​}，其中$q_i\text{⊆}{\mathbb{R}}^d$即为固定$d$维
2. 段落嵌入$P$：{ p1,p2,...,pn}\{p_1,p_2,...,p_n\}{ p1​,p2​,...,pn​}，其中$p_i\text{⊆}{\mathbb{R}}^d$即为固定$d$维

2️⃣向量分桶：用$\text{SimHash}$将原有空间分为$2^{k_{\text{sim}}}$个桶，每个桶用长为$k_{\text{sim}}$的定长二进制向量编码

1. 法向抽取：从高斯分布中抽取$k_{\text{sim}}\text{≥}1$个向量$g_1,\dots ,g_{k_{\text{sim}}}\text{∈}{\mathbb{R}}^d$，作为$k_{\text{sim}}$个超平面的法向量
2. 空间划分：$\phi (x)\text{=}\left(1\left(⟨g_1,x⟩\text{>}0\right),\dots ,1\left(⟨g_{k_{\text{sim}}},x⟩\text{>}0\right)\right)$
   • 1(⟨gi,x⟩>0)\mathbf{1}\left(\left\langle{}g_{i},x\right\rangle{}\text{>}0\right)