weixin_46878020的博客

原创 KV cache压缩策略

前面的4中KV压缩方法，都有一个特点都是完整保留最后一部分tokens的KV值，然后对于前面tokens的KV，不同的方法去选择他们认为比较重要tokens的KV，把这两部分的KV拼接起来便压缩了KV。最近tokens的KV所有方法都保留了，虽然每种方法都有自己的说法，说明了最近tokens KV的重要性。