VEDA: Efficient LLM Generation Through Voting-based KV Cache Eviction and Dataflow-flexible

文章主要内容总结

本文针对大型语言模型（LLMs）在边缘设备部署时面临的计算和内存资源挑战，提出了一种名为VEDA的定制加速器，通过算法、数据流和硬件的三重优化提升LLM推理效率。具体内容包括：

1. 算法层面：提出基于投票的KV缓存淘汰算法，通过每个token的注意力分数作为“选票”，自适应识别不重要的KV向量，平衡硬件效率和算法准确性，解决现有方法的偏差问题。
2. 数据流与硬件层面：
   • 针对矩阵-向量乘法（GEMV）的维度范围广、序列长度动态变化、内存访问不规则等问题，提出灵活乘积数据流和运行时可重构处理元素（PE）阵列，无需转置操作即可高效处理不同维度需求。
   • 针对softmax、层归一化（layernorm）等非线性操作的数据依赖和高计算成本问题，提出元素串行调度方案，将硬件复杂度从(O(N))降至(O(1))，同时消除延迟。
3. 实验验证：VEDA加速器在TSMC 28nm工艺下实现，与现有硬件平台相比，显著降低延迟和硬件复杂度，在Llama-2 7B模型上的实验显示，其面积成本最小、能效最高，为资源受限的边缘设备部署LLM提供了可行方案。

创新点

1. 投票式KV缓存淘汰算法：通过token的注意力分数“投票”识别不重要的KV向量，解决现有方法的项目计数偏差、标准偏差和异常值偏差，在保持硬件简单性的同时提升准确性。
2. 灵活