LLM in a flash: Efficient Large Language Model Inference with Limited Memory

最新推荐文章于 2025-06-11 10:52:50 发布
最新推荐文章于 2025-06-11 10:52:50 发布
阅读量1.2k 收藏 19
点赞数 22
文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/135766628
版权
LLM 日更 专栏收录该内容
828 篇文章

已下架不支持订阅

本文提出了一种在内存有限的设备上运行大型语言模型（LLM）的新方法，通过将模型参数存储在闪存并按需加载到DRAM，减少了数据传输并提高了推理速度。通过“窗口化”和“行-列绑定”技术，实现了推理速度在CPU上提升4-5倍，GPU上提升20-25倍，允许运行大小是可用DRAM两倍的模型。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文是LLM系列文章，针对《LLM in a flash: Efficient Large Language Model Inference with Limited Memory》的翻译。

LLM in a flash：具有有限内存的高效大型语言模型推理

摘要

大型语言模型（LLM）是现代自然语言处理的核心，在各种任务中提供卓越的性能。然而，它们的大量计算和内存需求带来了挑战，尤其是对于DRAM容量有限的设备。本文通过将模型参数存储在闪存中，但将其按需带到DRAM中，来解决高效运行超过可用DRAM容量的LLM的挑战。我们的方法包括构建一个考虑闪存特性的推理成本模型，指导我们在两个关键领域进行优化：减少从闪存传输的数据量和读取更大、更连续的数据块。在这个以硬件为基础的框架中，我们介绍了两种主要技术。首先，“窗口化”通过重复使用先前激活的神经元来战略性地减少数据传输，其次，根据闪存的顺序数据访问强度量身定制的“行-列绑定”增加了从闪存读取的数据块的大小。这些方法共同实现了运行高达可用DRAM两倍大小的模型，与CPU和GPU中的原始加载方法相比，推理速度分别提高了4-5倍和20-25倍。我们将稀疏性感知、上下文自适应加载和面向硬件的设计相结合，为在内存有限的设备上有效推断LLM铺平了道路。

1 引言

2 闪存和LLM推理

3 从闪存加载</

了解本专栏 已下架不支持订阅
UnknownBody
关注
专栏目录

已下架不支持订阅

LLM 和生成式 AI 简介：LLM 架构、提示词工程和 LLM 配置 & 大型语言模型中的思维链（CoT）：介绍和应用
AI天才研究院
10-31 700
Attention is All You Need 是 Google 研究人员于 2017 年发表的一篇研究论文，其中介绍了 Transformer 模型，这是一种新颖的架构，彻底改变了自然语言处理 (NLP) 领域，并成为我们现在所知的AI大模型的基础 - 例如如 GPT、PaLM 等。作者证明，他们的模型在多项机器翻译任务上实现了最先进的性能，并且优于之前依赖 RNN 或 CNN 的模型。总的来说，及时的工程设计和理解不同模型的特征对于最大限度地提高语言模型在各种任务中的有效性起着至关重要的作用。
【ChatGPT核心原理实战】手动求解 Transformer：分步数学示例 | Solving Transformer by Hand: A Step-by-Step Math Example
AI天才研究院
12-22 3563
手动求解 Transformer：分步数学示例Understanding Transformers: A Step-by-Step Math Example — Part 1了解 Transformer：分步数学示例 — 第 1 部分I understand that the transformer architecture may seem scary, and you might have encountered various explanations on…我知道变压器架构可能看起来很可怕，并且
《LLM in a Flash: Efficient Large Language Model Inference with Limited Memory》论文解读
m0_37340681的博客
01-09 1749
如下图所示，每个神经元有几乎100%的概率与第一个同激活神经元共同激活，第4个同激活神经元也有平均86%的概率共同得到激活。然而他们并没有使用这一特性，因为有一些极其活跃的神经元总是与其他神经元共同激活，因此会导致大量额外的读取，造成反作用。背景：大模型难以运行在内存受限的边端设备上（使用半浮点精度加载有7B参数的模型时需要约14GB内存）。并且本文并未正式发表有许多不规范和写作表达不清的地方，因此有许多我不理解的地方，也有许多我按照自己的理解记下的内容，如有错误请见谅。时间：2024-1-9。
论文解读--LLM in a flash: Efficient Large Language Model Inference with Limited Memory
qq_38473009的博客
11-27 375
大语言模型(LLM)的推理阶段，都是直接加载到DRAM中。这篇论文主要解决的问题是如何在有限的内存容量下高效地运行超出DRAM容量的大语言模型。该论文在两个关键领域进行优化：窗口化策略降低数据传输量，行-列捆绑存储增加从flash读取的数据块大小。这些方法使得模型可以在可用DRAM容量的两倍大小下运行，并且与CPU和GPU中的简单加载方法相比，推理速度分别增加了4-5倍和20-25倍。解决如何在有限的内存容量下高效地运行超出DRAM容量的大语言模型策略。解决LLM推理阶段直接加载到DRAM中面临的挑战。
大模型笔记【2】 LLM in Flash
Keep Fighting!
01-08 1893
但是Flash带宽较低，LLM in Flash通过尽量减少从Flash中加载参数的数量，优化在DRAM中的内存管理，实现在Flash带宽有限的条件下提高计算速度的目的。上图左侧是如何在aggregated usage和incremental transfer中保持平衡，window设置的越大，每次新需要加载neruon也就越少，但是需要在memory中累计保存的空间占用的也就越大。2. 预测Relu层的稀疏性。上图右侧为一个window size为5的示意图，粉色的是要删除的元素，蓝色的是新加入的元素。
大模型速览【2】：LLM闪电学习
qq_3213559056_Q的博客
06-10 142
但是Flash带宽较低，LLM in Flash通过尽量减少从Flash中加载参数的数量，优化在DRAM中的内存管理，实现在Flash带宽有限的条件下提高计算速度的目的。上图左侧是如何在aggregated usage和incremental transfer中保持平衡，window设置的越大，每次新需要加载neruon也就越少，但是需要在memory中累计保存的空间占用的也就越大。预测Relu层的稀疏性。上图右侧为一个window size为5的示意图，粉色的是要删除的元素，蓝色的是新加入的元素。
推荐开源项目：Flash-LLM - 高效大语言模型推理加速库
gitblog_00074的博客
06-12 554
推荐开源项目：Flash-LLM - 高效大语言模型推理加速库 项目地址:https://gitcode.com/gh_mirrors/fl/flash-llm 项目介绍 Flash-LLM 是一款专为无结构模型剪枝的大规模语言模型（LLM）推理加速库。这个库基于 Tensor-Core 加速的无结构稀疏矩阵乘法计算，旨在有效提升 LLM 中常见矩阵运算的性能。通过 Flash-LLM，可以将剪枝...
DuoAttention: EFFICIENT LONG-CONTEXT LLM INFERENCE WITH RETRIEVAL AND STREAMING HEADS 翻译
Doc2X的博客
11-22 746
https://arxiv.org/pdf/2410.10819 DuoAttention: EFFICIENT LONG-CONTEXT LLM INFERENCE WITH RETRIEVAL AND STREAMING HEADS DuoAttention: 带有检索和流式头的高效长上下文LLM推理
LLM大模型训练加速利器FlashAttention详解
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
06-29 6731
因为Transformer的自注意力机制(self-attention)的计算的时间复杂度和空间复杂度都与序列长度有关，所以在处理长序列的时候会变的更慢，同时内存会增长更多。通常的优化是针对计算复杂度(通过FLOPs数衡量), 优化会权衡模型质量和计算速度。在FlashAttention中考虑到attention算法也是IO敏感的，通过对GPU显存访问的改进来对attention算法的实现进行优化。
Large Language Model主题的若干论文简述
Jinyao的博客
05-15 1518
1.Architectural Components of Large Language Models (LLMs) SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing： SentencePiece is a subword t...
20240110 大模型应用快讯
yuquanqiushiji的博客
01-10 606
由荣耀出品，研发7B的魔法大模型，通过量化压缩等手段部署在手机端侧运行。魔法大模型加持的MagicOS本质上还是一个智能体，它可以根据用户的意图，例如从用户的短信中预判出差时间地点，智适应调度差旅App，提供订票信息。由无问穹芯、清华大学和上海交大联合推出，基于FPGA部署LLAMA2-7B，解决了大模型稀疏模式带来的计算效率低下，decode阶段导致的低带宽利用率和动态性引发的编译开销大等问题。由网易有道推出，可实现与用户的近实时陪聊，提供口语打分报告和语言表达的AI润色建议和对话提示。
优化大型语言模型（LLM）的推理过程及挑战解决方案
张伟的专栏
04-20 1826
2023年11月20日 由 daydream 发表4940通过堆叠transformer层来创建大型模型可以在各种语言任务上实现更好的准确性、小样本学习能力，甚至接近人类的新兴能力。然而，训练这些基础模型的成本很高，在推理过程中可能需要大量的存储和计算资源（持续成本）。当今最流行的大型语言模型（LLM）在规模上可以达到数千亿到数百亿个参数的大小，并且根据使用情况，可能需要处理长输入（或上下文），这也可能增加成本。本文讨论了LLM推理中最紧迫的挑战，以及一些实际解决方案。
将Llama2上下文长度扩展100倍；效率更高的SeTformer；LLM准确度基本不变加速1.56×；FreeTalker
公众号『机器感知』
01-09 717
常用的压缩技术缓解了LLM计算/内存开销与硬件限制的差距，但现有的GPU和transformer加速器无法高效处理压缩的LLM，因为存在计算效率低、内存带宽未充分利用和编译开销大等问题。本文提出了一种名为FreeTalker的框架，用于生成自发（如伴随言语的手势）和非自发（如演讲者在讲台上的移动）的演讲者动作。该框架利用了来自不同动作数据集的异构数据，训练了一个基于扩散模型的演讲者动作生成器，该模型使用统一的表示形式来驱动言语手势和文本动作。在推理过程中，使用CFG来控制clips的风格。
大模型LLM论文整理
weixin_43564920的博客
03-31 2340
Gemini：一族功能强大的多模态模论文名称：Gemini: A Family of Highly Capable Multimodal Models论文地址：https://arxiv.org/pdf/2312.11805会议：论文方法：该论文介绍了一种新的多模态模型系列，Gemini，在图像、音频、视频和文本理解方面具有非凡的能力。Gemini系列包括Ultra、Pro和Nano三种规模，适用于从复杂的推理任务到设备上的内存受限用例。论文实验结果：在广泛的基准测试中，该论文最先进的Gemini Ultr
[晓理紫]每日论文推送(有中文摘要或代码或项目地址)
勿忘初心,方得始终
01-11 2066
== LLM ==标题: CharacterEval: A Chinese Benchmark for Role-Playing Conversational Agent Evaluation作者: Quan Tu, Shilong Fan, Zihang Tian摘要: Recently, the advent of large language models (LLMs) has revolutionized generative agents. Among them, Role-Playing Con
原始的 P-Tuning 和 P-Tuning v2 在实现细节上有哪些不同
ZJQ的博客
06-10 1140
P-Tuning v2（2022） - **改进点**： - 在模型的每一层都添加软提示（类似 Prefix Tuning 的思路），而不只是输入层。 - **引入轻量级 MLP 层**：在预训练模型的输出后添加一个小型的多层感知机，增强分类能力。 - **结构特点**： ``` 输入文本 + 软提示 → 预训练LM → MLP层 → 分类输出 ``` MLP 通常由 1-2 层线性层组成，参数量远小于全量微调。
二维张量dim=1
GHL_17768588743的博客
06-11 665
在PyTorch中处理二维张量（矩阵）时，‌dim=1‌，也就是逐行处理每一行的所有列元素。
扣子开发汽车行业智能客服示例
最新发布
brucexia的专栏
06-11 1224
在本节中，我们想要创建一个AI客服，用于介绍汽车领域的行业知识，因此需要利用知识库的能力。首先，梳理汽车行业知识，形成FAQ（常见问题解答）。然后，将其上传到知识库中。最后，将知识库配置到AI Agent智能体中，使其能够调用知识库的内容作为回复。完成以上步骤之后，当用户咨询Agent有关汽车领域知识的问题时，Agent将根据FAQ的内容进行回答。传统的机器人客服只能生硬地套用FAQ，缺乏灵活性。
简繁体智能翻译软件
weixin_62784879的博客
06-09 648
以常见物品为例：内地称\"创口贴\"，香港称\"胶布\"，台湾称\"OK绷\"；汽车品牌\"奔驰\"在香港译作\"平治\"、台湾译作\"宾士\"，这类词汇差异需要额外认知成本。该工具内置智能词库系统，能自动识别并转换具有地区特色的用词表达，实现内地、香港、台湾三地语言习惯的精准转换。针对台湾地区使用的注音符号（如ㄅㄆㄇㄈ）及网络流行的火星文等特殊文字形式，提供对应的转换方案。这款工具还有许多功能，我就不一一介绍啦。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值