Towards Coarse-to-Fine Evaluation of Inference Efficiency for Large Language Models

本文是LLM系列文章，针对《Towards Coarse-to-Fine Evaluation of Inference Efficiency for Large Language Models》的翻译。

摘要

在现实世界中，大型语言模型（LLM）可以作为帮助用户完成工作的助手，也可以支持高级应用程序的开发。对于LLM的广泛应用，推理效率是一个至关重要的问题，在现有的工作中得到了广泛的研究，并提出了许多优化算法和代码库来提高它。尽管如此，用户仍然发现比较上述所有方法的有效性并理解其潜在机制具有挑战性。在这项工作中，我们对各种代码库的推理性能进行了详细的从粗到细的分析。为了评估整体有效性，我们考察了两个实际应用中的四种使用场景。我们还对Transformer架构中的每个模块进行了深入的理论和实证分析。我们的实验产生了全面的结果，对于研究人员评估代码库和改进推理策略来说是非常宝贵的。

1 引言

2 前言

3 总体评价与分析

4 细粒度模块化评估与分析

5 相关工作

6 结论

在这项工作中，我们引入了一个全面的基准，可以涵盖各种任务场景，用于评估各种库。我们在框架中集成了各种常见的实验设置，为评估推理效率相关库提供了一个有用的测试平台。在此基础上，我们提出了一个详细的公式来分析LLaMA中每个组件的复杂性，其中涉及FLOP、MOP和算术强度