A Survey on Efficient Inference for Large Language Models

最新推荐文章于 2025-05-29 09:43:06 发布
最新推荐文章于 2025-05-29 09:43:06 发布
阅读量622 收藏
点赞数 16
分类专栏： LLM Daily Survey Paper LLM Inference 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/141417572
版权

本文是LLM系列文章，针对《A Survey on Efficient Inference for Large Language Models》的翻译。

大型语言模型高效推理研究综述

摘要

大型语言模型（LLMs）因其在各种任务中的出色表现而引起了广泛关注。然而，LLM推理的大量计算和内存要求给资源受限场景中的部署带来了挑战。该领域的工作一直致力于开发旨在提高LLM推理效率的技术。本文对现有关于有效LLM推理的文献进行了全面的综述。我们首先分析了LLM推理效率低下的主要原因，即模型大小大、二次复杂度注意操作和自回归解码方法。然后，我们引入了一个全面的分类法，将当前的文献分为数据级、模型级和系统级优化。此外，本文还对关键子领域内的代表性方法进行了比较实验，以提供定量见解。最后，我们提供了一些知识总结，并讨论了未来的研究方向。

1 引言

2 前言

3 分类

4 数据级别优化

5 模型级别优化

6 系统级别优化

7 关键应用场景探讨

8 结论

高效的LLM推理侧重于降低LLM推理过程中的计算、内存访问和内

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Stop Overthinking: A Survey on Efficient Reasoning for Large Language Models
c_cpp_csharp的专栏
03-31 256
大型语言模型（LLMs）在复杂任务中展现出卓越能力。近期，OpenAI o1和DeepSeek-R1等大型推理模型（LRMs）通过监督微调（SFT）和强化学习（RL）技术优化思维链（CoT）推理，进一步提升了数学、编程等System-2推理领域的性能。然而，较长的CoT推理序列虽能提高准确性，但冗余的输出会导致显著的计算开销，即“过度思考现象”。高效推理旨在优化推理长度同时保留能力，可降低计算成本并提升实时应用响应速度。尽管潜力巨大，高效推理仍处于研究初期。
Survey on Efficient Inference
qq_52024723的博客
11-01 949
题目：A Survey on Efficient Inference for Large Language Models论文首先介绍了模型制约LLM推理速度的三个要素：模型大小：主流大型语言模型通常包含数十亿甚至数万亿个参数。例如，LLaMA-70B模型包含700亿个参数，而GPT-3模型则扩展到1750亿个参数。这种相当大的模型尺寸显著增加了在大型语言模型推理过程中的计算成本、内存访问成本和内存使用量。注意力操作：在预填充阶段，自注意力操作在输入长度上表现出。
大语言模型高效推理技术
yorkhunter的博客
06-16 818
24年6月来自无问芯穹、清华大学和上海交大的论文“A Survey on Efficient Inference for Large Language Models”。
NICE分享 | 如何加速大语言模型推理？万字长文综述大语言模型高效推理技术
zenRRan的博客
07-03 343
主题如何加速大语言模型推理？万字长文综述大语言模型高效推理技术论文：A Survey on Efficient Inference for Large Language Models地址：https://arxiv.org/pdf/2404.14294解读：3万字详细解析清华大学最新综述工作：大模型高效推理综述嘉宾周紫轩，硕士就读于清华大学深圳国际研究生院，目前博0（硕士刚毕业），硕士导师为汪玉教...
5万字讲解大模型语言高效推理研究（清华综述）
qq_40500099的博客
09-19 1162
大模型由于其在各种任务中的出色表现而引起了广泛的关注。然而，大模型推理的大量计算和内存需求对其在资源受限场景的部署提出了挑战。业内一直在努力开发旨在提高大模型推理效率的技术。本文对现有的关于高效大模型推理的文献进行了全面的综述总结。首先分析了大模型推理效率低下的主要原因，即大模型参数规模、注意力计算操的二次复杂度作和自回归解码方法。然后，引入了一个全面的分类法，将现有优化工作划分为数据级别、模型级别和系统级别的优化。此外，本文还对关键子领域的代表性方法进行了对比实验，以及分析并给出一定的见解。
Efficient Prompting Methods for Large Language Models: A Survey
c_cpp_csharp的专栏
08-25 274
提示已成为使大型语言模型（LLM）适应特定自然语言处理任务的主流范式。虽然这种方法为LLM的上下文学习打开了大门，但它带来了模型推理的额外计算负担和手动设计提示的人工工作，特别是在使用冗长复杂的提示来指导和控制LLM行为时。因此，LLM领域出现了高效提示方法的显著激增。本文对这些方法进行了全面的概述。从较高的层次上讲，高效的提示方法大致可分为两种：高效计算提示和高效设计提示。前者涉及各种压缩提示的方法，后者采用自动优化提示的技术。我们介绍了激励的基本概念，回顾了高效激励的进展，并强调了未来的研究方向。
Model Compression and Efficient Inference for Large Language Models: A Survey
c_cpp_csharp的专栏
04-05 241
基于Transformer的大型语言模型已经取得了巨大的成功。然而，在推理过程中产生的大量内存和计算成本使得在资源受限的设备上部署大型模型具有挑战性。在本文中，我们从算法的角度研究了大型语言模型的压缩和高效推理方法。关于分类法，与较小的模型类似，大型语言模型的压缩和加速算法仍然可以分为量化、修剪、蒸馏、紧凑架构设计和动态网络。然而，与较小的模型相比，大型语言模型有两个突出的特点：（1）大多数压缩算法需要在压缩后对模型进行微调甚至重新训练。大型模型最显著的方面是与模型微调或训练相关的非常高的成本。
A Survey on Large Language Models for Personalized and Explainable Recommendations
c_cpp_csharp的专栏
01-10 704
近年来，随着大型语言模型（LLM）在自然语言处理（NLP）领域的出现，推荐系统（RS）发生了变革。这些模型，如OpenAI的GPT-3.5/4、Meta的Llama，在理解和生成类人文本方面表现出了前所未有的能力。这导致了个性化和可解释推荐领域的范式转变，因为LLM提供了一个多功能的工具集，用于处理大量文本数据，以增强用户体验。为了全面了解现有的基于LLM的推荐系统，本调查旨在分析RS如何从基于LLM方法中受益。
3万字讲解大模型高效推理清华综述
stephen147的博客
07-16 1623
提示词总结的核心思想是在保持相似的语义信息的前提下，将原有提示词浓缩为更短的总结。这些技术还可以作为提示词的在线压缩方法。与前面提到的保留未裁剪标记的提示词裁剪技术不同，这一行方法将整个提示符转换为总结。RECOMP[34]引入了一个抽象压缩器（AbstractiveCompressor），其将输入问题和检索到的文档作为输入，生成一个简洁的摘要。具体来说，它从大规模的大模型中提取轻量级压缩器来进行总结工作。SemanticCompression提出了一种语义压缩方法。它首先将文本分解成句子。
无问芯穹与清华、上交联合研究团队发表大模型高效推理综述，全面分类大模型推理优化工作
2401_87329534的博客
09-18 1357
内含关键子领域代表性方法对比实验
3万字详细解析清华大学最新综述工作：大模型高效推理综述
热门推荐
zenRRan的博客
06-03 1万+
深度学习自然语言处理 原创作者：fanmetasy大模型由于其在各种任务中的出色表现而引起了广泛的关注。然而，大模型推理的大量计算和内存需求对其在资源受限场景的部署提出了挑战。业内一直在努力开发旨在提高大模型推理效率的技术。本文对现有的关于高效大模型推理的文献进行了全面的综述总结。首先分析了大模型推理效率低下的主要原因，即大模型参数规模、注意力计算操的二次复杂度作和自回归解码方法。然后，引入了一个...
AI推介-大语言模型LLMs论文速览（arXiv方向）：2024.04.20-2024.04.25
小小帅
05-30 1633
使用检索增强生成（RAG）从外部知识源检索相关信息，可以让大型语言模型（LLM）回答私人和/或以前未见过的文档集合中的问题。但是，RAG 无法回答针对整个文本语料库的全局性问题，例如 “数据集中的主要主题是什么？”，因为这本质上是一个以查询为重点的总结（QFS）任务，而不是一个明确的检索任务。同时，先前的 QFS 方法无法扩展到典型 RAG 系统索引的文本数量。
基于 Transformer 的大语言模型
AI与算法都要通俗易懂
06-11 967
近年来，研究人员发现，扩大语言模型的规模不仅增强了它们的语言建模能力，而且还产生了处理传统NLP任务之外更复杂任务的新兴能力。可以看到，自注意力机制允许模型识别不同输入部分的重要性，无论距离如何，并且可以捕捉输入句子中的长距离依赖和复杂关系。特别地，在第一个块之前，使用分词器将原始输入句子转换为一系列标记，随后的嵌入层用于将标记转换为输入特征。对于每个块，它接收前一个块的输出特征作为输入，并通过每个子模块传递特征以获得输出。然后，将额外的位置嵌入添加到输入特征中，以编码每个输入标记的顺序。
LLM推理挑战：如何在资源受限的环境中高效部署？
AI_Conf的博客
06-14 1328
大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。
无服务器推理在大语言模型中的未来
DUT_LYH
03-22 1129
无服务器LLM系统通过在共享GPU集群上动态分配LLM来提高效率并降低成本。然而，现有的无服务器LLM系统存在高延迟问题，影响了交互式应用的体验。MIT CSAIL的研究人员提出了ServerlessLLM，这是一个创新的系统，通过利用多级服务器存储的丰富但未充分利用的容量和带宽，实现了LLM的无服务器低延迟推理。
【论文专辑】2024年大模型推理优化论文精选第六期
CodeFuse的博客
01-08 1718
本文整理了 OSDI 2024 和 SOSP 2024 中与大语言模型（LLM）推理优化相关的10篇论文，涵盖 Parrot、ServerlessLLM、dLoRA 等系统，提出的技术如 Chunked Prefill、Prefix-Caching、P/D分离等已被 vLLM 和 TensorRT-LLM 等主流推理引擎采用。这些研究解决了 LLM 推理中的冷启动延迟、资源分配、KV 缓存管理等问题，提升了推理性能和资源利用率。CodeFuse推理优化项目地址https://github.com/code
OpenCV CUDA模块直方图计算------在 GPU 上计算输入图像的直方图（histogram）函数histEven()
最新发布
jndingxin的专栏
05-29 535
该函数用于在 GPU 上计算输入图像的直方图（histogram）。它将像素值区间均匀划分为若干个 bin（桶），并统计每个 bin 中像素的数量。
Prompt Tuning：优化提示调优全攻略
ZJQ的博客
05-26 927
Prompt Tuning（提示调优）是一种通过优化提示词来调整预训练语言模型行为的技术。主要变体包括：Prefix Tuning（添加可训练前缀向量）、Hard-Prompt Tuning（直接使用自然语言提示）、Soft-Prompt Tuning（学习通用提示向量）、Prompt Ensemble（多提示集成）和Auto-Prompt（自动搜索最优提示）。其中Hard-Prompt Tuning最为直观，可通过自然语言指令（如"这段文字的情感是积极的"）引导模型输出。代码示例展示了
a survey on causal inference pdf
12-25
《因果推断调查报告》为题的PDF文件主要针对因果推断的研究进行了调查和分析。因果推断是指通过观察和分析数据来确定某一事件或因素对另一事件或因素产生影响的方式。在这份PDF文件中，调查团队采用了问卷调查、实地访谈和文献分析等方法，对因果推断在不同领域的应用和发展进行了全面的调查和分析。 首先，调查报告介绍了因果推断的基本概念和方法，包括实验设计、随机化对照试验、倾向性得分匹配等常用的因果推断方法。然后，调查团队对因果推断在医学、经济学、教育学等不同领域的具体应用进行了详细的调查和分析，揭示了因果推断在这些领域中的重要性和局限性。 此外，调查报告还对因果推断方法的现状和发展趋势进行了深入的分析，包括大数据时代对因果推断的影响、因果推断在政策制定中的作用等方面。调查团队还对因果推断方法的局限性和改进方向提出了建设性的意见和建议。 总体来说，《因果推断调查报告》的PDF文件对因果推断的研究和应用进行了全面而深入的调查和分析，为相关领域的研究人员和决策者提供了重要的参考和借鉴，对于推动因果推断研究的发展具有重要的意义。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值