Automatic Prefix Caching

APC技术，遇到新prompt和老prompt前缀完全相等的，则复用老prompt的KV cache，避免重新计算。

VLLM代码实例：

# set enable_prefix_caching=True to enable APC
llm = LLM(
    model='lmsys/longchat-13b-16k',
    enable_prefix_caching=True
)

 应用场景：

1. 长文档问答。给1个长文档，变换不同的query。则把长文档放到前面，可以复用KV cache。

2. 多轮聊天。多轮对话聊天历史，放到前面，可以复用KV cache。

我的实验：

1. fetch_count>1时，不管是否打开enable_prefix_caching，prompt的KV cache都会被复用。

2. prefill公共前缀较长，且decode output较短时，KV cache复用的威力才能发挥出来。

3. 只要前面有1个字符不同，后面完全相同的部分，也不能被视为公共前缀。因为2个prompt这部分的KV值不相等了。