SELF-SELECTED ATTENTION SPAN FOR ACCELERATING LARGE LANGUAGE MODEL INFERENCE

本文是LLM系列文章，针对《SELF-SELECTED ATTENTION SPAN FOR ACCELERATING LARGE LANGUAGE MODEL INFERENCE》的翻译。

摘要

大型语言模型（LLM）可以解决具有挑战性的任务。然而，由于在生成新token时必须处理的token数量不断增加，它们在现代GPU上的推理计算效率非常低。为了解决这种低效问题，我们利用LLM的问题解决能力来优化其推理时间效率。我们通过两个具体任务进行演示：（a）计算复杂的算术表达式；（b）总结新闻文章。对于这两个任务，我们创建自定义数据集来微调LLM。微调的目标有两个：第一，让LLM学会解决评估或总结任务，第二，训练它确定任务每一步所需的最小注意力持续时间。因此，微调模型能够在推理过程中将这些自我识别的最小注意力跨度实时转换为稀疏注意力掩码。我们开发了一个自定义CUDA内核，以利用减少的上下文。我们证明，使用这个自定义CUDA核可以将LLM推理的吞吐量提高28%。我们的工作提供了一个端到端的演示，表明训练LLM自我选择他们的注意力跨度可以加速解决现实世界任务的自回归推理。

1 引言

2 背景

3 自选注意力跨度

4 实验结果

5 附加研究

6 相关工作

7 讨论

可解释性。大型语言模型的训练成本可能高达数百万美元。这种高成本使得LLM的开发人员理所当然地犹豫是否使用可能损害模型质量的不透明模型压缩技术。我们认为，为了使这些技术得到广泛采用，模型开发人员必须能够看到并