文献分享: Muvera多向量到单向量的转化方法(Part2.理论保证的证明)

原论文

详细的理论证明，包含了所有细节

$\text{1. MUVERA}$的全过程

1️⃣文本嵌入：对查询文本和段落文本分别应用嵌入器(如$\text{ColBERTv2}$)，得到各自的多向量嵌入

1. 查询嵌入$Q$： { q 1 , q 2 , . . . , q m } \{q_1,q_2,...,q_m\} { q1​,q2​,...,qm​}，其中$q_i\text{⊆}{\mathbb{R}}^d$即为固定$d$维
2. 段落嵌入$P$： { p 1 , p 2 , . . . , p n } \{p_1,p_2,...,p_n\} { p1​,p2​,...,pn​}，其中$p_i\text{⊆}{\mathbb{R}}^d$即为固定$d$维

2️⃣向量分桶：用$\text{SimHash}$将原有空间分为$2^{k_{\text{sim}}}$个桶，每个桶用长为$k_{\text{sim}}$的定长二进制向量编码

1. 法向抽取：从高斯分布中抽取$k_{\text{sim}}\text{≥}1$个向量$g_1,\dots ,g_{k_{\text{sim}}}\text{∈}{\mathbb{R}}^d$，作为$k_{\text{sim}}$个超平面的法向量
2. 空间划分：$\phi (x)\text{=}\left(1\left(⟨g_1,x⟩\text{>}0\right),\dots ,1\left(⟨g_{k_{\text{sim}}},x⟩\text{>}0\right)\right)$
   • $1\left(⟨g_i,x⟩\text{>}0\right)$：当$⟨g_i,x⟩\text{>}0$成立(即$x$投影在超平面$g_i$的正侧)时，将该位设为$1$
3. 向量分桶：让所有的$m\text{+}n$个嵌入通过$\phi (\cdot )$得到长$k_{\text{sim}}$的二进制编码，相同编码者(即桶编码)放入同一桶

3️⃣向量生成：按照如下三种情况，为每个桶$k$都生成一个子向量${\vec{q}}_{(k)},{\vec{p}}_{(k)}\text{⊆}{\mathbb{R}}^d$

$\text{Case}$	桶$\mathbf{k}$的情况	桶$\mathbf{k}$子向量${\vec{\mathbf{q}}}_{(\mathbf{k})}$	桶$\mathbf{k}$子向量${\vec{\mathbf{p}}}_{(\mathbf{k})}$
$\text{Case-0}$	无 p i → { q 1 , q 2 , . . . ∣ } p_i\text{→}\{q_1,q_2,...\mid{}\} pi​→{ q1​,q2​,...∣}	${\vec{q}}_{(k)}=\sum q_i$	${\vec{p}}_{(k)}=$与该桶海明距离最近的$p$
$\text{Case-1}$	单 p i → { q 1 , q 2 , . . . ∣ p } p_i\text{→}\{q_1,q_2,...\mid{}p\} pi​→{ q1​,q2​,...∣p}	${\vec{q}}_{(k)}=\sum q_i$	${\vec{p}}_{(k)}=p$
$\text{Case-n}$	多 p i → { q 1 , q 2 , . . . ∣ p 1 , p 2 , . . . } p_i\text{→}\{q_1,q_2,...\mid{}p_1,p_2,...\} pi​→{ q1​,q2​,...∣p1​,p2​,...}	${\vec{q}}_{(k)}=\sum q_i$	${\vec{p}}_{(k)}=\frac{1}{\#p}\sum p_j$($p$的质心)

4️⃣向量压缩：对每个${\vec{q}}_{(k)},{\vec{p}}_{(k)}\text{⊆}{\mathbb{R}}^d$应用随机线性投影$\psi \text{:}{\mathbb{R}}^d\text{→}{\mathbb{R}}^{d_{\text{proj}}}(d_{\text{proj}}\text{≤}d)$

1. 投影函数：$\mathbf{\psi }(x)\text{=}\left(\frac{1}{\sqrt{d_{\text{proj}}}}\right)\mathbf{S}x$，其中$\mathbf{S}\text{∈}{\mathbb{R}}^{d_{\text{proj}}\text{×}d}$为随机矩阵
   • 当$d_{\text{proj}}\text{=}d$时$\mathbf{S}$的每个元素$s_{ij}\text{=}1$，即$\mathbf{\psi }(x)\text{=}x$
   • 当$d_{\text{proj}}\text{<}d$时$\mathbf{S}$的每个元素$s_{ij}$满足离散均匀分布$\mathbb{P}r\left[s_{ij}\text{=}1\right]\text{=}\mathbb{P}r\left[s_{ij}\text{=}–1\right]\text{=}\frac{1}{2}$
2. 投影操作：$\{\begin{array}{l}{\vec{q}}_{(k),\psi }\text{⊆}{\mathbb{R}}^{d_{\text{proj}}}\stackrel{\psi \left({\vec{q}}_{(k)}\right)}{\leftarrow }{\vec{q}}_{(k)}\text{⊆}{\mathbb{R}}^d\\ \\ {\vec{p}}_{(k),\psi }\text{⊆}{\mathbb{R}}^{d_{\text{proj}}}\stackrel{\psi \left({\vec{p}}_{(k)}\right)}{\leftarrow }{\vec{p}}_{(k)}\text{⊆}{\mathbb{R}}^d\end{array}$
3. 合并操作：将每个桶的压缩向量依次从左到右合并$\text{→}\{\begin{array}{l}{\vec{q}}_{\psi }\text{=}\left({\vec{q}}_{(1),\psi },\dots ,{\vec{q}}_{(B),\psi }\right)\text{⊆}{\mathbb{R}}^{d_{\text{proj}}{2}^{k_{sim}}}\\ \\ {\vec{p}}_{\psi }\text{=}\left({\vec{p}}_{(1),\psi },\dots ,{\vec{p}}_{(B),\psi }\right)\text{⊆}{\mathbb{R}}^{d_{\text{proj}}{2}^{k_{sim}}}\end{array}$

5️⃣重复生成：重复2️⃣$\text{→}$4️⃣过程$R_{\text{reps}}$次，每次重复完成后生成${\vec{q}}_{i,\psi },{\vec{p}}_{i,\psi }$，拼接所有${\vec{q}}_{i,\psi },{\vec{p}}_{i,\psi }$

1. $Q$最终生成的单向量：${\mathbf{F}}_{\mathrm{que}}(Q)\text{=}\left({\vec{q}}_{1,\psi },\dots ,{\vec{q}}_{R_{\text{reps}},\psi }\right)\text{⊆}{\mathbb{R}}^{d_{\text{proj}}{2}^{k_{sim}}{R}_{\text{reps}}}$
2. $P$最终生成的单向量：${\mathbf{F}}_{\mathrm{doc}}(P)\text{=}\left({\vec{p}}_{1,\psi },\dots ,{\vec{p}}_{R_{\text{reps}},\psi }\right)\text{⊆}{\mathbb{R}}^{d_{\text{proj}}{2}^{k_{sim}}{R}_{\text{reps}}}$

6️⃣相似度：和但向量模型一样，就是二者的内积$⟨{\mathbf{F}}_{\mathrm{que}}(Q),{\mathbf{F}}_{\mathrm{doc}}(P)⟩$

$\text{2. }$定理$\text{2.1}$证明的思路