大模型笔记【2】 LLM in Flash

已于 2024-01-08 16:22:23 修改
阅读量1.9k 收藏 14
点赞数 21
CC 4.0 BY-SA版权
分类专栏： 大模型LLM Memory 文章标签： LLM 大模型
于 2024-01-08 16:08:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hit_shaoqi/article/details/135459875
Apple发布的新文章介绍了一种名为LLMinaFlash的方法，通过在FlashMemory中有效管理和加载大模型的稀疏参数，尤其是利用FeedForward层的稀疏性和SlidingWindow技术，显著减少了DRAM中的内存需求，提高计算效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Apple最近发表了一篇文章，可以在iphone, MAC 上运行大模型：【LLM in a flash: Efficient Large Language Model Inference with Limited Memory】。

图片

主要解决的问题是在DRAM中无法存放完整的模型和计算，但是Flash Memory可以存放完整的模型。但是Flash带宽较低，LLM in Flash通过尽量减少从Flash中加载参数的数量，优化在DRAM中的内存管理，实现在Flash带宽有限的条件下提高计算速度的目的。

这篇文章很多都是工程上的细节，很少理论。下面是这篇论文的总结，如有不对的地方，欢迎私信。

  • 利用FeedForward 层的稀疏度，只加载FeedForward层输入非0和预测输出非0的参数

  • 通过Window Sliding 只加载增量的参数，复用之前的计算，减少需要加载的参数。

  • 将up-projection的row和down-projection的column放在一起存放，这样在flash中可以一次读取比较大的chunk，提高flash的带宽利用效率。

    如下图所示，chunk越大，带宽也就越大，初始加载chunk的latency可以被平摊。

最低0.47元/天 解锁文章

200万优质内容无限畅学
LLM in a flash: Efficient Large Language Model Inference with Limited Memory
c_cpp_csharp的专栏
01-23 1320
大型语言模型（LLM）是现代自然语言处理的核心，在各种任务中提供卓越的性能。然而，它们的大量计算和内存需求带来了挑战，尤其是对于DRAM容量有限的设备。本文通过将模型参数存储在闪存中，但将其按需带到DRAM中，来解决高效运行超过可用DRAM容量的LLM的挑战。我们的方法包括构建一个考虑闪存特性的推理成本模型，指导我们在两个关键领域进行优化：减少从闪存传输的数据量和读取更大、更连续的数据块。在这个以硬件为基础的框架中，我们介绍了两种主要技术。
【 书生·浦语大模型实战营】学习笔记（一）：全链路开源体系介绍
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-31 2112
本文为实战营第一次课程笔记，主要分为两个部分，第一部分从书生·浦语大模型发展、分类、组成进行详细介绍，方便大家理解。第二部分为对 InternLM2技术报告解读，后续系列会继续更新，欢迎大家交流！
论文解读--LLM in a flash: Efficient Large Language Model Inference with Limited Memory
qq_38473009的博客
11-27 437
大语言模型(LLM)的推理阶段，都是直接加载到DRAM中。这篇论文主要解决的问题是如何在有限的内存容量下高效地运行超出DRAM容量的大语言模型。该论文在两个关键领域进行优化：窗口化策略降低数据传输量，行-列捆绑存储增加从flash读取的数据块大小。这些方法使得模型可以在可用DRAM容量的两倍大小下运行，并且与CPU和GPU中的简单加载方法相比，推理速度分别增加了4-5倍和20-25倍。解决如何在有限的内存容量下高效地运行超出DRAM容量的大语言模型策略。解决LLM推理阶段直接加载到DRAM中面临的挑战。
大模型速览【2】：LLM闪电学习
qq_3213559056_Q的博客
06-10 157
但是Flash带宽较低，LLM in Flash通过尽量减少从Flash中加载参数的数量，优化在DRAM中的内存管理，实现在Flash带宽有限的条件下提高计算速度的目的。上图左侧是如何在aggregated usage和incremental transfer中保持平衡，window设置的越大，每次新需要加载neruon也就越少，但是需要在memory中累计保存的空间占用的也就越大。预测Relu层的稀疏性。上图右侧为一个window size为5的示意图，粉色的是要删除的元素，蓝色的是新加入的元素。
《LLM in a Flash: Efficient Large Language Model Inference with Limited Memory》论文解读
m0_37340681的博客
01-09 1787
如下图所示，每个神经元有几乎100%的概率与第一个同激活神经元共同激活，第4个同激活神经元也有平均86%的概率共同得到激活。然而他们并没有使用这一特性，因为有一些极其活跃的神经元总是与其他神经元共同激活，因此会导致大量额外的读取，造成反作用。背景：大模型难以运行在内存受限的边端设备上（使用半浮点精度加载有7B参数的模型时需要约14GB内存）。并且本文并未正式发表有许多不规范和写作表达不清的地方，因此有许多我不理解的地方，也有许多我按照自己的理解记下的内容，如有错误请见谅。时间：2024-1-9。
推荐开源项目：Flash-LLM - 高效大语言模型推理加速库
gitblog_00074的博客
06-12 578
推荐开源项目：Flash-LLM - 高效大语言模型推理加速库 项目介绍 Flash-LLM 是一款专为无结构模型剪枝的大规模语言模型（LLM）推理加速库。这个库基于 Tensor-Core 加速的无结构稀疏矩阵乘法计算，旨在有效提升 LLM 中常见矩阵运算的性能。通过 Flash-LLM，可以将剪枝后的 LLM 模型部署到内存需求较低的 GPU 上，并以更高效的方式运行。目前，该代码已经在 NV...
LLM大模型训练加速利器FlashAttention详解
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
06-29 6961
因为Transformer的自注意力机制(self-attention)的计算的时间复杂度和空间复杂度都与序列长度有关，所以在处理长序列的时候会变的更慢，同时内存会增长更多。通常的优化是针对计算复杂度(通过FLOPs数衡量), 优化会权衡模型质量和计算速度。在FlashAttention中考虑到attention算法也是IO敏感的，通过对GPU显存访问的改进来对attention算法的实现进行优化。
大模型学习笔记 - LLM 之 attention 优化
m0_37531129的博客
08-22 1135
注意力机制最早来源于Transformer，Transformer中的注意力机制分为2种 Encoder中的 全量注意力机制和 Decoder中的带mask的注意力机制。这两种注意力机制 都是 MultiHeadAttention 由Key，Query, Value 三个矩阵组成。由于经典的MHA的计算时间和缓存占用量都是O(n^2)级别的(n是序列长度)，这就意味着如果序列长度变成原来的 2 倍，显存占用量就是原来的 4 倍，计算时间也是原来的 4 倍。
LLM大模型综述
热门推荐
zh515858237的专栏
01-10 3万+
LLM其实就是large language model，大语言模型。如果对“最终任务”进一步进行分类，又大致可以分为两大不同类型的任务：自然语言理解类任务和自然语言生成类任务。如果排除掉“中间任务”的话，典型的自然语言理解类任务包括文本分类、句子关系判断、情感倾向判断等，这种任务本质上都是分类任务，就是说输入一个句子（文章），或者两个句子，模型参考所有输入内容，最后给出属于哪个类别的判断。自然语言生成也包含很多NLP研究子方向，比如聊天机器人、机器翻译、文本摘要、问答系统等。
『大模型笔记』FlashAttention技术细节介绍！
AI新视界
05-30 990
Flash attention 最近变得非常流行，因为它能高效地进行训练。这是一种对 IO 有感知的精确注意力方法。通过减少对 GPU 高带宽内存(HBM)的访问，它避免了在前向和反向传播过程中存储大型注意力矩阵（QKTQK^TQKT。这种方法基于一个简单的原理：softmax 是一种代数运算。该方法具有通用性，适用于包括规范化、块稀疏注意力和 dropout 在内的多种注意力机制变体。作者在 BERT、GPT2 和 Transformer 上展示了显著的性能提升。
『大模型笔记』量化 vs 剪枝 vs 蒸馏：为推理优化神经网络！
AI新视界
05-28 1381
让我们总结一下我们在本视频中所涵盖的内容。首先是量化。量化使用不太精确的数据格式来减少模型的大小和延迟。当你将格式从FP32减少到Int8时，这会导致4倍的减少。最好与能够更快地执行低精度格式的低精度执行引擎结合使用。一个缺点是它可能会导致准确度下降，尽管希望不会太多。剪枝是将你的神经网络的一些权重设置为零以节省空间和计算。为了使其有效，要求执行引擎能够执行稀疏神经网络。与量化类似，它也可能导致准确度下降。知识蒸馏是我们涵盖的唯一一种可以修改模型架构的方法。
优化大型语言模型（LLM）的推理过程及挑战解决方案
张伟的专栏
04-20 1872
2023年11月20日 由 daydream 发表4940通过堆叠transformer层来创建大型模型可以在各种语言任务上实现更好的准确性、小样本学习能力，甚至接近人类的新兴能力。然而，训练这些基础模型的成本很高，在推理过程中可能需要大量的存储和计算资源（持续成本）。当今最流行的大型语言模型（LLM）在规模上可以达到数千亿到数百亿个参数的大小，并且根据使用情况，可能需要处理长输入（或上下文），这也可能增加成本。本文讨论了LLM推理中最紧迫的挑战，以及一些实际解决方案。
论文翻译 | Batch Prompting: Efficient Inference with Large Language Model APIs 批处理提示:使用大型语言模型api的高效推理
m0_49651195的博客
09-28 1293
使用大型语言模型(LLM)对数十万个样本执行推理可能在计算和经济上都很昂贵。我们提出了批量提示，这是一种简单的替代提示方法，使LLM能够批量运行推理，而不是一次运行一个样本。我们的方法在保持下游性能的同时减少了令牌和时间成本。我们从理论上证明，在少量的上下文学习设置下，推理成本几乎与每批样本的数量成反比线性下降。
基于FPGA的OFDM调制解调Verilog实现及其应用：涵盖IFFTFFT、Testbench及操作录像
07-29
基于FPGA的OFDM调制解调技术的Verilog实现，重点讲解了IFFT和FFT的实现方法，以及Testbench的设计。OFDM作为一种多载波调制技术，能够有效抵抗多径衰落和频率选择性衰落，广泛应用于无线通信和数字电视领域。文中还提供了详细的程序操作录像，帮助用户更好地理解和操作FPGA工程。具体实现过程中，使用Vivado 2019.2及以上版本作为开发工具，确保工程路径为英文路径，并提供完整的操作指南。 适合人群：具备一定FPGA开发经验的研发人员和技术爱好者。 使用场景及目标：适用于希望深入了解OFDM调制解调技术并掌握其实现细节的研究人员和工程师。通过学习本文，读者可以掌握基于FPGA的OFDM调制解调系统的开发流程，包括IFFT和FFT的实现、Testbench设计及实际操作。 其他说明：本文不仅提供了理论知识，还附带了实际的操作录像，使读者能够在实践中加深理解。建议读者跟随录像逐步操作，以便更好地掌握相关技能。
基于BP神经网络与PID控制的Simulink仿真及无刷直流电机控制研究
07-29
基于BP神经网络与PID控制相结合的Simulink仿真方法及其在无刷直流电机控制中的应用。文中首先阐述了BP神经网络的强大非线性映射能力和PID控制的经典反馈机制，解释了两者的结合如何优化PID控制器参数，从而提高控制系统的性能。随后，文章展示了如何使用MATLAB的S函数实现BP神经网络的前向传播过程，并将其集成到Simulink环境中构建完整的控制系统仿真模型。通过具体案例——无刷直流电机控制，演示了系统的设计思路、搭建步骤及其实验结果。实验结果显示，相比传统的PID控制，BP神经网络PID控制在应对复杂工况和参数不确定性方面表现出更快的响应速度和更稳定的性能。 适合人群：自动化专业学生、控制工程领域的研究人员和技术爱好者。 使用场景及目标：适用于希望深入了解BP神经网络与PID控制结合的应用场景，特别是那些需要优化控制系统性能的研究项目。目标是帮助读者掌握Simulink仿真平台的操作技巧，理解BP神经网络的工作原理及其在实际控制任务中的应用。 其他说明：附带详细的说明文档和本科论文，便于初学者快速上手并理解整个系统的原理和实现细节。
基于plc的恒压供水控制系统.doc
最新发布
07-30
基于plc的恒压供水控制系统.doc
西门子Smart PLC 485通讯轮询库程序详解及其应用 PLC 终极版
07-29
内容概要：本文介绍了西门子Smart PLC 485通讯轮询库程序的功能和使用方法。首先简述了轮询库程序的作用，即实现对多个设备的轮询操作，从而集中控制和监测设备状态。接下来详细讲述了代码编写步骤，包括初始化485通讯参数以及轮询设备列表和逻辑处理的具体流程。此外，还深入解析了485通讯中引脚的意义，并强调了代码优化与调试的重要性。最后，提供了一份详细的PDF讲解资料，涵盖代码示例、参数设置、引脚意义等方面的内容，便于使用者快速上手。 适合人群：从事工业自动化领域的工程师和技术人员，尤其是那些对西门子Smart PLC有一定了解的人群。 使用场景及目标：适用于需要利用西门子Smart PLC进行多设备通信和监控的项目。主要目标是让使用者掌握485通讯轮询库程序的编写技巧，提升系统集成能力和故障排查能力。 其他说明：随附的PDF资料为用户提供了一个全面的学习工具，有助于加深对485通讯机制的理解。
langchain4j-community-dashscope-1.0.0-beta2.jar中文文档.zip
07-29
1、压缩文件中包含： 中文文档、jar包下载地址、Maven依赖、Gradle依赖、源代码下载地址。 2、使用方法： 解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。 3、特殊说明： （1）本文档为人性化翻译，精心制作，请放心使用； （2）只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； （3）不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 4、温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件。 5、本文件关键字： jar中文文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册。
langchain4j-spring-boot-starter-0.16.0.jar中文文档.zip
07-29
1、压缩文件中包含： 中文文档、jar包下载地址、Maven依赖、Gradle依赖、源代码下载地址。 2、使用方法： 解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。 3、特殊说明： （1）本文档为人性化翻译，精心制作，请放心使用； （2）只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； （3）不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 4、温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件。 5、本文件关键字： jar中文文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册。
如何在笔记本上部署deepseek
03-10
<think>嗯，用户问的是如何在笔记本上部署DeepSeek。首先，我需要明确用户所说的DeepSeek具体指什么。因为DeepSeek可能有不同的产品，比如深度求索公司的AI模型，或者是其他开源项目。这里假设用户指的是DeepSeek的AI模型，比如大语言模型。 接下来，我需要考虑用户的技术背景。笔记本可能指的是笔记本电脑，也可能指Jupyter Notebook，但根据上下文，更可能是指本地电脑。所以用户可能想在个人电脑上部署DeepSeek的模型，比如运行一个本地版本的大模型。 然后，我需要分解部署的步骤。通常，部署这类模型需要几个关键步骤：环境准备、模型获取、依赖安装、运行和测试。还要考虑到不同的操作系统，比如Windows、macOS或Linux，可能会有不同的操作步骤。 首先，环境准备。需要Python环境，可能推荐使用Anaconda来管理虚拟环境。安装CUDA和cuDNN如果使用NVIDIA GPU加速的话。用户需要确认自己的硬件是否符合要求，比如是否有足够的显存，或者是否只能用CPU运行。 然后是获取模型。DeepSeek的模型可能需要从官方网站或Hugging Face等平台下载，可能需要申请权限或者API密钥。如果是开源模型，可以直接下载checkpoint文件。这里需要提醒用户注意版权和许可问题。 安装依赖库，比如PyTorch、Transformers库等。根据是否使用GPU，PyTorch的版本会有不同，需要指导用户正确安装。另外，可能需要其他库，如accelerate、sentencepiece等。 配置模型和代码部分。用户可能需要加载模型，编写推理代码，或者使用提供的示例脚本。这里需要确保代码与模型版本兼容，路径设置正确。 运行过程中可能会遇到问题，比如显存不足，这时候需要建议调整batch size或者使用量化技术。如果用户只有CPU，需要说明速度会较慢，或者建议使用较小的模型。 最后，测试模型，验证是否正常运行，可能通过输入样本问题，查看输出是否符合预期。 另外，需要注意资源限制。大模型通常需要较高的内存和显存，如果用户笔记本配置较低，可能需要推荐较小的模型版本，或者建议使用云端服务。 可能还需要考虑是否支持Fine-tuning，如果用户需要的话，但部署可能只是推理阶段。 总结下来，步骤大致是：确认模型类型和获取方式，准备Python环境，安装依赖，下载模型，编写或调整代码，处理可能的错误，测试运行。同时需要给出常见问题的解决方案，比如显存不足、依赖冲突等。</think>在笔记本上部署DeepSeek（深度求索公司的大模型）可分为以下步骤，请根据硬件条件选择合适方案： $$ \text{部署准备} = \begin{cases} \text{GPU方案} & \text{若配备NVIDIA显卡(推荐RTX 3060+，显存≥8GB)} \\ \text{CPU方案} & \text{若仅有CPU(需≥16GB内存)} \end{cases} $$ 一、基础环境搭建 1. 安装Python 3.8-3.10 ```bash conda create -n deepseek python=3.10 conda activate deepseek ``` 2. 安装PyTorch（根据硬件选择）： - GPU用户： ```bash pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 ``` - CPU用户： ```bash pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu ``` 二、模型获取与安装 1. 通过官方渠道获取模型（需申请权限）： ```python from huggingface_hub import snapshot_download snapshot_download(repo_id="deepseek-ai/deepseek-llm-7b-base") ``` 2. 安装依赖库： ```bash pip install transformers accelerate sentencepiece # 可选量化支持 pip install bitsandbytes ``` 三、推理代码示例 ```python from transformers import AutoTokenizer, AutoModelForCausalLM model_path = "path/to/your/downloaded_model" tokenizer = AutoTokenizer.from_pretrained(model_path) model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto") input_text = "中国的首都是" inputs = tokenizer(input_text, return_tensors="pt").to(model.device) outputs = model.generate(**inputs, max_new_tokens=50) print(tokenizer.decode(outputs[0], skip_special_tokens=True)) ``` 四、优化方案（GPU用户） 1. 使用4-bit量化减少显存占用： ```python model = AutoModelForCausalLM.from_pretrained( model_path, load_in_4bit=True, device_map="auto" ) ``` 2. 使用FlashAttention加速： ```bash pip install flash-attn ``` 五、常见问题解决 1. 显存不足：尝试减小`max_new_tokens`或启用量化 2. 依赖冲突：使用`pip freeze > requirements.txt`管理依赖版本 3. 下载中断：设置HF镜像源 ```bash export HF_ENDPOINT=https://hf-mirror.com ``` 注意事项： 1. 7B参数模型需要至少10GB磁盘空间 2. CPU推理时建议使用GGUF量化格式 3. 首次运行会自动下载分词器等组件 4. 建议使用vLLM加速框架提升吞吐量： ```bash pip install vllm from vllm import LLM, SamplingParams llm = LLM(model=model_path) ``` 请根据实际硬件配置调整模型版本（如选择1.3B/7B等不同规模），完整部署文档建议参考DeepSeek官方GitHub仓库。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值