SELF-SELECTED ATTENTION SPAN FOR ACCELERATING LARGE LANGUAGE MODEL INFERENCE

本文是LLM系列文章，针对《SELF-SELECTED ATTENTION SPAN FOR ACCELERATING LARGE LANGUAGE MODEL INFERENCE》的翻译。

摘要

大型语言模型（LLM）可以解决具有挑战性的任务。然而，由于在生成新token时必须处理的token数量不断增加，它们在现代GPU上的推理计算效率非常低。为了解决这种低效问题，我们利用LLM的问题解决能力来优化其推理时间效率。我们通过两个具体任务进行演示：（a）计算复杂的算术表达式；（b）总结新闻文章。对于这两个任务，我们创建自定义数据集来微调LLM。微调的目标有两个：第一，让LLM学会解决评估或总结任务，第二，训练它确定任务每一步所需的最小注意力持续时间。因此，微调模型能够在推理过程中将这些自我识别的最小注意力跨度实时转换为稀疏注意力掩码。我们开发了一个自定义CUDA内核，以利用减少的上下文。我们证明，使用这个自定义CUDA核可以将LLM推理的吞吐量提高28%。我们的工作提供了一个端到端的演示，表明训练LLM自我选择他们的注意力跨度可以加速解决现实世界任务的自回归推理。

1 引言

2 背景

3 自选注意力跨度