KV-Cache技术小结（MHA,GQA,MQA,MLA)

个人博客位置： http://myhz0606.com/article/kv-cache

1 背景

KV-cache技术是目前LLM，VLLM等自回归模型常用的避免冗余计算的手段。但引入该技术需要额外的存储成本。原生的kv-cache所需的存储成本与生成的token长度成正比，是目前长文本生成的主要瓶颈之一。目前针对如何降低KV-cache的存储成本激起大量研究者广泛关注。GQA (Group Query Attention)，MQA (Multi Query Attention)，MLA (Multi-Head Latent Attention)是目前常用的方法。本文将从经典的casual attention出发，阐述kv-cache的必要性，及目前常见优化kv-cache的手段。

TL,DR

不同attention方法 KV cache的存储单元数量

	KV-cache	存储单元数量
Casual Attention	$K_{\le t},V_{\le t}$	$2td$
MHA	{ K ≤ t ; i , V ≤ t ; i ∣ i = 1 , 2 , ⋯   , n h } \{K_{\leq t;i} ,V_{\leq t;i} |i=1,2,\cdots ,n_h\} {K≤t;i​,V≤t;i​∣i=1,2,⋯,nh​}	$2t{n}_h{d}_h$
GQA	{ K ≤ t ; g i , V ≤ t ; g i ∣ i = 1 , 2 , ⋯   , n g } \{K_{\leq t;g_i} ,V_{\leq t;g_i} |i=1,2,\cdots ,n_g\} {K≤t;gi​​,V≤t;gi​​∣i=1,2,⋯,ng​}	$2t{n}_g{d}_h$
MQA	{ K ≤ t ; g i , V ≤ t ; g i ∣ g i = 1 } \{K_{\leq t;g_i} ,V_{\leq t;g_i} |g_i=1\} {K≤t;gi​​,V≤t;gi​​∣gi​=1}	$2t{d}_h$
MLA	$C_{\le t}^{kv},K_{\le t}^R$	$t(d_c+d_h^R)$

2 经典Casual-Attention的KV-Cache工作机制

假定当前层attention的输入为$X=[x_1;x_2;\cdots ;x_T],X\in {\mathbb{R}}^{T\times d}$,$T$为sequence的长度。通过$W_q,W_k,W_v$ 3个线性层得到query ，key，value。

$$Q=\begin{array}{rl}& \left[\begin{array}{c}{q}_1\\ q_2\\ ⋮\\ q_T\end{array}\right]，K=\left[\begin{array}{c}{k}_1\\ k_2\\ ⋮\\ k_T\end{array}\right]，V=\left[\begin{array}{c}{v}_1\\ v_2\\ ⋮\\ v_T\end{array}\right]\\ & q_t,k_t,v_t\in {\mathbb{R}}^{1\times d}\end{array}\text{\hspace{1em}(1)}$$

随后通过标准的casual attention机制，得到输出$Y$。

在训练阶段，为了通过teaching forcing技巧进行并行化训练，引入一个causal mask $M$，来保证$t$位置的token只看的到$\le t$的token。这个阶段没有kv-cache。

$$\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_T\end{array}\right]=\mathrm{softmax}(\frac{\left[\begin{array}{c}{q}_1\\ q_2\\ ⋮\\ q_T\end{array}\right]\left[\begin{array}{c}{k}_1^T,k_2^T,\cdots ,k_T^T\end{array}\right]}{\sqrt{d}}+M)\left[\begin{array}{c}{v}_1\\ v_2\\ ⋮\\ v_T\end{array}\right]\text{\hspace{1em}(2)}$$

**在生成阶段。**token是按序生成，在模型内部体现在$\left[\begin{array}{c}{y}_1;y_2;\cdots ;y_T\end{array}\right]$的每一行是依次输出的。

对于第一个token的生成只依赖$y_1$,第二个token的生成只依赖$y_2$，依次类推。

对每一个$y_t$，attention的计算如下

$$\begin{array}{rl}{y}_t& =\mathrm{softmax}\left(\frac{q_t\left[\begin{array}{c}{k}_1^T,\cdots ,k_t^T\end{array}\right]}{\sqrt{d}}\right)\left[\begin{array}{c}{v}_1\\ ⋮\\ v_t\end{array}\right]\\ & =\mathrm{softmax}\left(\frac{q_t\boxed{K_{\le t}^T}}{\sqrt{d}}\right)\boxed{V_{\le t}}\\ & =\sum _{i=1}^t\mathrm{softmax}\left(\frac{q_t{k}_i^T}{\sqrt{d}}\right)v_i\end{array}\text{\hspace{1em}(3)}$$

如果考虑位置编码，上式写改写为,${\mathcal{P}}_i(\cdot )$表示位置编码函数

$$y_t=\sum _{i=1}^t\mathrm{softmax}\left(\frac{{\mathcal{P}}_t(q_t){\mathcal{P}}_i(k_i^T)}{\sqrt{d}}\right)v_i\text{\hspace{1em}(4)}$$

从上面的计算流程不难看出，$y_t$的生成只依赖当前$t$位置的query,依赖前面所有位置$\le t$的key和value。为了得到$K_{\le t},$$V_{\le t}$,最naive的做法是：生成$t$位置的token时，将$X_{\le t}$作为Attention的输入，以此保证$K_{\le t},V_{\le t}$能够被正确计算。Naive的做法没有kv-cache。

但从上面的计算流程我们不难看出，$y_t$需要的$K_{\le t},V_{\le t}$中$K_{\le t-1},V_{\le t-1}$已经在$y_{t-1}$的计算中被计算。因此可以能把$y_{t-1}$算好的$K_{\le t-1},V_{\le t-1}$保存起来，在$t$位置只需计算$k_t,v_t$，再与前面的$K_{\le t-1},V_{\le t-1}$进行拼接就可以得到$K_{\le t},V_{\le t}$。这样大大减少了冗余的计算量。这就是kv-cache的核心motivation。（公式中被“框起来”的部分是可以cache的。）

用kv-cache的生成思路，

生成第$1$个token时，此时attention层输入$x_1$，输出$y_1,(k_1,v_1)$。$(k_1,v_1)$是缓存的kv-cache
生成第$2$个token时，此时attention层输入$x_2,(k_1,v_1)$，输出$y_2,(K_{\le 2},V_{\le 2})$
…
生成第$t$个token时，此时attention层输入$x_t,(K_{\le t-1},V_{\le t-1})$，输出$y_t,(K_{\le t},V_{\le t})$
…

kv-cache能够显著降低attention的计算量，但随着生成token的增多，kv-cache所需的存储成本呈线性增加，导致GPU的显存成为生成长度的瓶颈。

3 Multi-Head Attention（MHA） KV-Cache工作机制

paper: https://arxiv.org/pdf/1706.03762

MHA是上面的一个推广。假定MHA的输入为$X=[x_1;x_2;\cdots ;x_T],X\in {\mathbb{R}}^{T\times d}$,$T$为sequence的长度。假定有$n_h$个head，每个head投影的维度为$d_h=\frac{d}{n_h}$

通过线性层的矩阵计算，得到不同head下的 Q i , K i , V i , i ∈ { 1 , ⋯   , n h } Q_i,K_i,V_i,i\in \{1,\cdots,n_h\} Qi​,Ki​,Vi​,i∈{1,⋯,nh​}

$q_{1;i}$表示head $i$ query矩阵在序列位置为$1$处的向量，其他符号记法类似。

在生成阶段每一个head经过attention计算后的$t$位置的输出$y_{t;i}$如下（$y_{1;i}，y_{2;i}，\cdots y_{T;i}$依序生成）,

$$\begin{array}{rl}{y}_{t;i}& =\mathrm{softmax}\left(\frac{q_{t;i}\left[\begin{array}{c}{k}_{1;i}^T,\cdots ,k_{t;i}^T\end{array}\right]}{\sqrt{d}}\right)\left[\begin{array}{c}{v}_{1;i}\\ ⋮\\ v_{t;i}\end{array}\right]\\ & =\mathrm{softmax}\left(\frac{q_{t;i}\boxed{K_{\le t;i}^T}}{\sqrt{d}}\right)\boxed{V_{\le t;i}}\end{array}\text{\hspace{1em}(5)}$$

循环Attention head $i=1,\cdots ,n_h$ ,可以计算所有head $t$时刻的输出 { y t ; 1 , ⋯   , y t ; n h } \{y_{t;1}, \cdots ,y_{t;n_h}\} {yt;1​,⋯,yt;nh​​}最后将不同head的输出$y_{t;i}$进行拼接，得到最终的输出

$$\begin{gathered} y_t=\mathrm{Cat}([y_{t;1},y_{t;2},\cdots ,y_{t;n_h}],\dim =1) \\ {y}_t\in {\mathbb{R}}^{1\times d}\text{\hspace{1em}(6)} \end{gathered}$$

对于MHA而言，$y_t$的计算缓存的kv-cache为 { K ≤ t ; i , V ≤ t ; i ∣ i = 1 , 2 , ⋯   , n h } \{K_{\leq t;i} ,V_{\leq t;i} |i=1,2,\cdots ,n_h\} {K≤t;i​,V≤t;i​∣i=1,2,⋯,nh​}

4 Group Query Attention（GQA） KV-Cache工作机制

paper: https://arxiv.org/pdf/2305.13245

GQA的attention计算机制与MHA一致。有所区别的是，GQA为了降低KV-Cache的存储，将attention的head分为了$n_g$组，同一组共享kv-cache。

$$g_i=\lceil (\frac{i}{n_g})\rceil \text{\hspace{1em}(7)}$$

$\lceil \cdot \rceil$是向上取整符号。若$n_g=4$,那么 i ∈ { 1 , 2 , 3 , 4 } i \in \{ 1,2,3,4 \} i∈{1,2,3,4}共享$g_i=1$这个group的key，value。

同样，在生成阶段$y_{1;i}，y_{2;i}，\cdots y_{T;i}$依序生成。每一个head经过attention计算后的$t$位置的输出$y_{t;i}$如下,

$$\begin{array}{rl}{y}_{t;i}& =\mathrm{softmax}\left(\frac{q_{t;i}\left[\begin{array}{c}{k}_{1;g_i}^T,\cdots ,k_{t;g_i}^T\end{array}\right]}{\sqrt{d}}\right)\left[\begin{array}{c}{v}_{1;g_i}\\ ⋮\\ v_{t;g_i}\end{array}\right]\\ & =\mathrm{softmax}\left(\frac{q_{t;i}\boxed{K_{\le t;g_i}^T}}{\sqrt{d}}\right)\boxed{V_{\le t;g_i}}\end{array}\text{\hspace{1em}(8)}$$

Loop Attention head $i=1,\cdots ,n_h$ ,可以计算所有head $t$时刻的输出 { y t ; 1 , ⋯   , y t ; n h } \{y_{t;1}, \cdots ,y_{t;n_h}\} {yt;1​,⋯,yt;nh​​}最后将不同head的输出$y_{t;i}$进行拼接，得到最终的输出

$$\begin{gathered} y_t=\mathrm{Cat}([y_{t;1},y_{t;2},\cdots ,y_{t;n_h}],\dim =1) \\ {y}_t\in {\mathbb{R}}^{1\times d}\text{\hspace{1em}(9)} \end{gathered}$$

对于GQA而言，$y_t$的计算缓存的kv-cache为 { K ≤ t ; g i , V ≤ t ; g i ∣ i = 1 , 2 , ⋯   , n g } \{K_{\leq t;g_i} ,V_{\leq t;g_i} |i=1,2,\cdots ,n_g\} {K≤t;gi​​,V≤t;gi​​∣i=1,2,⋯,ng​},相比标准的MHA，KV-cache降低了$\frac{n_h}{n_g}$倍

5 Multi Query Attention（MQA） KV-Cache工作机制

paper: https://arxiv.org/pdf/1911.02150

MQA是GQA的一个特例。当$n_g=1$时，即所有head的query共享同一组key, value，此时的GQA成为MQA。

对于MQA而言，$y_t$的计算缓存的kv-cache为 { K ≤ t ; g i , V ≤ t ; g i ∣ g i = 1 } \{K_{\leq t;g_i} ,V_{\leq t;g_i} |g_i=1\} {K≤t;gi​​,V≤t;gi​​∣gi​=1},相比标准的MHA，KV-cache降低了$n_h$倍。

6 Multi-Head Latent Attention (MLA)的工作机制

MLA是deepseek提出的一项针对kv-cache的优化。

paper: https://arxiv.org/abs/2405.04434

（一）先抛开位置编码

假定MLA的输入为$X=[x_1;x_2;\cdots ;x_T],X\in {\mathbb{R}}^{T\times d}$,$T$为sequence的长度。假定有$n_h$个head，每个head投影的维度为$\frac{d}{n_h}$。初步来看未引入位置编码的MLA像是引入了一个低秩分解矩阵(类似LoRA的做法)的MHA

head $i$的Q,K,V计算过程如下

$$\underset{MHA}{\underbrace{\left[\begin{array}{c}{Q}_i\\ K_i\\ V_i\end{array}\right]=\left[\begin{array}{c}X{W}_{q;i}\\ X{W}_{k;i}\\ X{W}_{v;i}\end{array}\right]}}\to \underset{MLA}{\underbrace{\left[\begin{array}{c}{Q}_i\\ K_i\\ V_i\end{array}\right]=\left[\begin{array}{c}X{W}_{q/A}{W}_{q/B;i}\\ X{W}_{kv/A}{W}_{k/B;i}\\ X{W}_{kv/A}{W}_{v/B;i}\end{array}\right]=\left[\begin{array}{c}{C}^q{W}_{q/B;i}\\ C^{kv}{W}_{k/B;i}\\ C^{kv}{W}_{v/B;i}\end{array}\right]}}\text{\hspace{1em}(10)}$$

矩阵维度变换说明

	dimension
$W_{kv/A}$ （下标kv表示key-value的compress latent编码投影矩阵，/A类比LORA的A矩阵)	${\mathbb{R}}^{d\times d_c}$
$W_{k/B;i},W_{v/B;i}$ （/B 类比LORA的B矩阵， $;i$)表示attention第$i$个head	${\mathbb{R}}^{d_c\times \frac{d}{n_h}}$
$W_{q/A;i}$	${\mathbb{R}}^{d\times d_c^{\prime }}$
$W_{q/B;i}$	${\mathbb{R}}^{\frac{d}{n_h}\times d_c}$
$C^q$ （上标q表示 query的compress latent code）	${\mathbb{R}}^{T\times d_c^{\prime }}$
$C^{kv}$ （表示 key-value的compress latent code）	${\mathbb{R}}^{T\times d_c}$

在生成阶段,每一个head经过attention计算后的$t$位置的输出$y_{t;i}$如下（$y_{1;i}，y_{2;i}，\cdots y_{T;i}$依序生成)

$$\begin{array}{rl}{y}_{t;i}& =\mathrm{softmax}\left(\frac{q_{t;i}{K}_{\le t;i}^T}{\sqrt{d}}\right)V_{\le t;i}\\ & =\mathrm{softmax}\left(\frac{q_{t;i}{W}_{k/B;i}^T(\boxed{C_{\le t}^{kv}}{)}^T}{\sqrt{d}}\right)\boxed{C_{\le t}^{kv}}{W}_{v/B;i}\end{array}\text{\hspace{1em}(9)(10)}$$

式（9）和MHA的generate阶段的形式相同，当然可以通过缓存 { K ≤ t ; i , V ≤ t ; i ∣ i = 1 , 2 , ⋯   , n h } \{K_{\leq t;i} ,V_{\leq t;i} |i=1,2,\cdots ,n_h\} {K≤t;i​,V≤t;i​∣i=1,2,⋯,nh​}实现kv-cache。

但MLA提供了一个新的方法（式10），只需要缓存$C_{\le t}^{kv}\in {\mathbb{R}}^{t\times d_c}$即可，相比原始方法的kv-cache的存储单元数量从$t\times \frac{d}{n_h}\times n_h\times 2=2dt$降低到$t\times d_c$。但这个方法需要引入两个矩阵乘法的计算量。因为$d_c$不大，引入的计算量是可以接受的。（还有一种更为巧妙的方法能规避计算量增加的问题，在（二）中介绍）

（二）引入位置编码的MLA

这个形式也是deepseek论文中提出的形式。有了上面的基础，再理解就很简单了。同样假定MLA的输入为$X=[x_1;x_2;\cdots ;x_T],X\in {\mathbb{R}}^{T\times d}$,$T$为sequence的长度。假定有$n_h$个head，每个head投影的维度为$d_h=\frac{d}{n_h}$

head $i$的Q,K,V计算过程如下

$$\begin{array}{rl}\left[\begin{array}{c}{Q}_i\\ K_i\\ V_i\end{array}\right]& \Rightarrow \underset{MHA}{\underbrace{\left[\begin{array}{c}X{W}_{q;i}\\ X{W}_{k;i}\\ X{W}_{v;i}\end{array}\right]}}\Rightarrow \underset{\text{MLA, no pos embedding}}{\underbrace{\left[\begin{array}{c}X{W}_{q/A}{W}_{q/B;i}\\ X{W}_{kv/A}{W}_{k/B;i}\\ X{W}_{kv/A}{W}_{v/B;i}\end{array}\right]=\left[\begin{array}{c}{C}^q{W}_{q/B;i}\\ C^{kv}{W}_{k/B;i}\\ C^{kv}{W}_{v/B;i}\end{array}\right]}}\\ & \Rightarrow \underset{\text{MLA with pos embedding}}{\underbrace{\left[\begin{array}{c}{Q}_i^C,Q_i^R\\ K_i^C,K^R\\ V_i\end{array}\right]=\left[\begin{array}{c}{C}^q{W}_{q^C/B;i},\mathrm{ROPE}(C^q{W}_{q^R/B;i})\\ C^{kv}{W}_{k^C/B;i},\mathrm{ROPE}(X{W}_{k^R})\\ C^{kv}{W}_{v/B;i}\end{array}\right]}}\end{array}\text{\hspace{1em}(11)}$$

矩阵维度变换说明

	dimension
$W_{kv/A}$(下标kv表示key-value的compress latent编码投影矩阵，/A类比LORA的A矩阵)	${\mathbb{R}}^{d\times d_c}$
$W_{k^C/B;i},W_{v/B;i}$ (/B 类比LORA的B矩阵， $;i$)表示attention第$i$个head	${\mathbb{R}}^{d_c\times d_h}$
$W_{k^R}$	${\mathbb{R}}^{d\times d_h^R}$
$W_{q/A;i}$	${\mathbb{R}}^{d\times d_c^{\prime }}$
$W_{q^C/B;i}$	${\mathbb{R}}^{d_c^{\prime }\times d_h}$
$W_{q^R/B;i}$	${\mathbb{R}}^{d_c^{\prime }\times d_h^R}$
$C^q$ （上标q表示 query的compress latent code）	${\mathbb{R}}^{T\times d_c^{\prime }}$
$C^{kv}$（表示 key-value的compress latent code）	${\mathbb{R}}^{T\times d_c}$
$Q_i^C$ （上标C表示compression的首字母“C”）	${\mathbb{R}}^{T\times d_h}$ (不含位置编码的query)
$Q_i^R$ （上标R是RoPE的R）	${\mathbb{R}}^{T\times d_h^R}$ (包含位置编码的query)

$$\begin{array}{rl}{y}_{t;i}& =\mathrm{softmax}\left(\frac{\left[\begin{array}{c}{q}_{t;i}^C,q_{t;i}^R\end{array}\right]\left[\begin{array}{c}(k_{1{;}_i}^C{)}^T,\cdots ,(k_{t;i}^C{)}^T\\ (k_1^R{)}^T,\cdots ,(k_t^R{)}^T\end{array}\right]}{\sqrt{d_h+d_h^R}}\right)V_{\le t;i}\\ & =\mathrm{softmax}\left(\frac{\left[\begin{array}{c}{q}_{t;i}^C,q_{t;i}^R\end{array}\right]\left[\begin{array}{c}(K_{\le t;i}^C{)}^T\\ (K_{\le t}^R{)}^T\end{array}\right]}{\sqrt{d_h+d_h^R}}\right)V_{\le t;i}\\ & =\mathrm{softmax}\left(\frac{\left[\begin{array}{c}{q}_{t;i}^C,q_{t;i}^R\end{array}\right]\left[\begin{array}{c}(\boxed{C_{\le t}^{kv}}{W}_{k^C/B;i}{)}^T\\ (\boxed{K_{\le t}^R}{)}^T\end{array}\right]}{\sqrt{d_h+d_h^R}}\right)\boxed{C_{\le t}^{kv}}{W}_{v/B;i}\end{array}\text{\hspace{1em}(12)(13)(14)}$$

从式14可见，加了位置编码的MLA相比无位置编码的情形多缓存了一个$K_{\le t}^R$。这里需要注意，对于所有attention head$K_{\le t}^R$是共享的（类似MQA）。

此时KV-cache需要缓存 { C ≤ t k v , K ≤ t R } \{C^{kv}_{\leq t}, K^R_{\leq t}\} {C≤tkv​,K≤tR​} 的存储单元数量为$t(d_c+d_h^R)$

**与不加位置编码的情形一致，这个方法推理时需要引入两个矩阵乘法的计算量，$C_{\le t}^{kv}{W}_{k^C/B;i}$和$C_{\le t}^{kv}{W}_{v/B;i}$。**不妨对式（14）再次进行变形，可以看到MLA 又一巧妙的设计

$$\begin{array}{rl}{y}_{t;i}& =\mathrm{softmax}\left(\frac{\left[\begin{array}{c}{q}_{t;i}^C,q_{t;i}^R\end{array}\right]\left[\begin{array}{c}(\boxed{C_{\le t}^{kv}}{W}_{k^C/B;i}{)}^T\\ (\boxed{K_{\le t}^R}{)}^T\end{array}\right]}{\sqrt{d_h+d_h^R}}\right)\boxed{C_{\le t}^{kv}}{W}_{v/B;i}\\ & =\mathrm{softmax}\left(\frac{q_{t;i}^C(W_{k^C/B;i}{)}^T(\boxed{C_{\le t}^{kv}}{)}^T+q_{t;i}^R(\boxed{K_{\le t}^R}{)}^T}{\sqrt{d_h+d_h^R}}\right)\boxed{C_{\le t}^{kv}}{W}_{v/B;i}\end{array}\text{\hspace{1em}(15)}$$

从式（15）可见，在推理时，$W_{q^C/B;i}(W_{k^C/B;i}{)}^T$可以预先合并为1个矩阵，同理$W_{v/B;i}$ 也可以和随后的线性层的权重进行合并。但计算量的降低主要与矩阵乘法的计算顺序改变导致：

计算次序	element-level乘法执行次数
$\underset{\stackrel{◯}{2}}{\underbrace{q_{t;i}^C}}\underset{\stackrel{◯}{1}}{\underbrace{(C_{\le t}^{kv}{W}_{k^C/B;i}{)}^T}}$	$\underset{\stackrel{◯}{1}}{\underbrace{t\times d_c\times d_h}}+\underset{\stackrel{◯}{2}}{\underbrace{t\times d_h\times 1}}=(d_c+1)t{d}_h$
$\underset{\stackrel{◯}{1}}{\underbrace{q_{t;i}^C(W_{k^C/B;i}{)}^T}}\underset{\stackrel{◯}{2}}{\underbrace{(C_{\le t}^{kv}{)}^T}}$	$\underset{\stackrel{◯}{1}}{\underbrace{1\times d_h\times d_c}}+\underset{\stackrel{◯}{2}}{\underbrace{1\times d_c\times t}}=(d_h+t)d_c$

维度说明：$q_{t;i}^C\in {\mathbb{R}}^{1\times d_h},C_{\le t}^{kv}\in {\mathbb{R}}^{t\times d_c},W_{k^C/B;i}\in {\mathbb{R}}^{d_c\times d_h}$

7 小结

文本详细介绍了kv-cache原理，及降低kv-cache存储成本目前常用的MQA，GQA，MLA方法。如有疏漏之处，敬请指出。

不同attention方法 KV cache的存储单元数量

	KV-cache	存储单元数量
Casual Attention	$K_{\le t},V_{\le t}$	$2td$
MHA	{ K ≤ t ; i , V ≤ t ; i ∣ i = 1 , 2 , ⋯   , n h } \{K_{\leq t;i} ,V_{\leq t;i} |i=1,2,\cdots ,n_h\} {K≤t;i​,V≤t;i​∣i=1,2,⋯,nh​}	$2t{n}_h{d}_h$
GQA	{ K ≤ t ; g i , V ≤ t ; g i ∣ i = 1 , 2 , ⋯   , n g } \{K_{\leq t;g_i} ,V_{\leq t;g_i} |i=1,2,\cdots ,n_g\} {K≤t;gi​​,V≤t;gi​​∣i=1,2,⋯,ng​}	$2t{n}_g{d}_h$
MQA	{ K ≤ t ; g i , V ≤ t ; g i ∣ g i = 1 } \{K_{\leq t;g_i} ,V_{\leq t;g_i} |g_i=1\} {K≤t;gi​​,V≤t;gi​​∣gi​=1}	$2t{d}_h$
MLA	$C_{\le t}^{kv},K_{\le t}^R$	$t(d_c+d_h^R)$