A Survey on Hardware Accelerators for Large Language Models

本文是LLM系列文章，针对《A Survey on Hardware Accelerators for Large Language Models》的翻译。

摘要

大型语言模型（LLM）已成为自然语言处理任务的强大工具，其理解和生成类人文本的能力彻底改变了该领域。随着对更复杂LLM的需求持续增长，迫切需要解决与其规模和复杂性相关的计算挑战。本文对旨在提高大型语言模型的性能和能效的硬件加速器进行了全面的调查。通过研究各种加速器，包括GPU、FPGA和定制设计的架构，我们探索了为满足LLM的独特计算需求而定制的硬件解决方案的前景。该调查包括对架构、性能指标和能效考虑因素的深入分析，为旨在优化LLM在现实应用中的部署的研究人员、工程师和决策者提供了宝贵的见解。

1 引言

2 计算和能源需求

3 基于FPGA的加速器

4 基于CPU和GPU的加速器

5 ASIC加速器

6 内存中硬件加速器

7 定量比较

8 结论

大型语言模型已经成为一种很有前途和强大的科学和社会技术。然而，巨大的计算复杂性给数据中心带来了新的挑战，因为这些应用程序消耗了大量的能量。硬件加速器可以用来加速这些应用程序并显著降低能量需求。