QLoRA微调后的Llama3模型在本地运行

原创

已于 2024-12-24 08:44:56 修改 · 461 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #深度学习 #自然语言处理 #机器学习

于 2024-12-23 10:27:09 首次发布

简介

首先使用Llama-3-1-8B作为例子进行解析。如何Llama-3-1-8B想要在本地电脑运行，那么它需要多少GPU才能完美的运行起来了，大约需要19.2G的GPU才能运行。那么我们的机子最好是4090,哎。。。。。。。
这成本太高了，普通人是无法承受的。

因为很多人看到大模型运行成本这么高，所有都在想使用什么方式降低成本，又能达到接近的效果。参数高效微调后的大模型就是此产物，参数高效微调相关知识可以看我之前写的文章。

今天这篇文章目的不是讲解大模型的知识，今天的内容是怎么在自己的电脑上运行Llama-3-1-8B大模型。
例子中的模型是自己通过4bit量化训练的模型，可以在8G的以下的机子上可以运行。

这里插入一个如何计算大模型运行是需要消耗多少资源。
1）估算公式（该公式来自于Sam Stoelinga简化[1]）
在这里插入图片描述

符号	描述
M	用千兆字节 (GB) 表示的 GPU 内存
P	模型中的参数数量。例如，一个 7B 模型有 7 亿参数。
4B	4 字节，即每个参数使用的字节数
32	4 字节中有 3

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

湘人-汤义

关注关注

3
点赞
踩
7

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【大模型】微调一个大模型需要多少 GPU 显存？

酒酿小圆子呀～

03-31

3293

模型微调所需的 GPU 显存取决于多个因素，包括模型大小、微调方法和优化策略。全量微调需要较大显存，而高效微调方法如 LoRA 和 QLoRA 可以显著减少显存需求。在实际项目中，还需考虑硬件配置和训练策略等因素来更精确地估算 GPU 显存需求。

大模型综述

posuosini的博客

02-23

2945

有关当下大模型的模型分类，推理加速，训练加速工具概览

参与评论您还未登录，请先登录后发表或查看评论

windows环境Ollama部署Llama3中文并调优

u012864987的专栏

05-20

6618

地址：https://ollama.com/downloadgithub地址： https://github.com/ollama/ollama直接运行exe程序安装。安装完成后，可以在右下角看到ollama图标环境变量控制：OLLAMA_MODELS 配置模型下载部署的目录, 示例： D:\modelsOLLAMA_HOST 服务地址端口，示例： 0.0.0.0:11434ollama运行命令见 ollama --help 查看帮助。

LLaMA-Factory|微调大语言模型初探索(3)，qlora微调deepseek记录

qq_29676069的博客

02-20

1663

使用lora微调方法微调1b模型显存占用率甚至大于使用qlora微调3b模型。训练方法相同的情况下，不同显卡之间的显存使用量通常不完全相同，上述现存使用情况只能作为参考。

利用QLoRA实现低配置微调llama3.2

python1222_的博客

12-25

1673

Llama是Meta开发的大语言模型系列，其采用自回归架构，可以用于文本生成、对话、代码编写等功能，并且完全开源且免费。目前，Meta已经发布了其最新的Llama大模型系列——Llama-3.2系列。在HuggingFace上面已经可以从Meta的主页下载到以下模型的训练参数：本文将介绍适合低配置本地环境微调Llama-3.2-3B的流程。

Llama 3 模型微调的步骤

keyboard专栏

06-28

1646

LlaMa-Factory中已经为我们提供了非常完整的模型合并方法，同样，我们只需要编写脚本文件来执行合并操作即可，即llama3_merge_model.sh。同样，该脚本文件也可以按照此前single_lora_llama3.sh脚本相类似的操作，就是将课件中提供的脚本直接上传到Jupyter主目录下，再复制到LlaMa-Factory主目录下进行运行。建议在执行项目的依赖安装之前升级 pip 的版本，如果使用的是旧版本的 pip，可能无法安装一些最新的包，或者可能无法正确解析依赖关系。

一文搞懂大模型的微调 - （LLaMA-Factory和QLoRA）

2301_81940605的博客

06-23

916

通过 LLaMA Factory，可以在无需编写任何代码的前提下，在本地完成上百种预训练模型的微调。

Llama2模型微调实战：用QLoRA在消费级GPU训练大模型

威哥说编程

02-01

762

Llama2是Meta公司推出的开源大规模语言模型，其目标是为学术研究和行业应用提供高效且可控制的语言生成能力。Llama2模型系列包括不同规模的版本，从7B（70亿参数）到70B（700亿参数）不等。在各类NLP任务中，Llama2展现出了非常强的能力，特别是在生成任务和文本理解任务上。尽管Llama2在多个场景下表现优异，但由于其模型参数量庞大（例如70B参数的模型），这使得在消费级GPU（例如NVIDIA的RTX 3080或3060等）上进行训练和微调变得非常困难。

QLORA：高效微调量化大型语言模型

人工智能讲师分享前沿技术

09-09

2207

人工智能咨询培训老师叶梓转载标明出处传统的16位精度微调需要超过780GB的GPU内存，对于参数量极大的模型，如65B（即650亿参数）的模型，在资源有限的情况下大模型的微调几乎是不可能的。华盛顿大学的研究者团队提出了一种名为QLORA的高效微调方法。它通过量化技术和低秩适配器（LoRA）显著降低了微调过程中的内存需求，使得在单个消费级 GPU 上微调高达65B参数的模型成为可能。QLORA 不仅减少了资源消耗，还保持了与全精度16位微调相当的性能，为大型模型的微调和部署开辟了新的可能性。

大语言模型微调的项目，包含了使用QLora微调ChatGLM和LLama

08-23

微调环节针对 GhatGLM-6B 模型展开，关键参数有：需指定微调所用基础模型（该模型需在 HuggingFace 平台存在，无需提前下载，训练启动时会自动下载，若已提前下载，指定本地路径并将对应参数设为 True）；...

精选资源

大模型微调-对LLama3.1进行全参微调+Lora微调+QLora微调-附项目源码+流程教程-优质项目实战.zip

10-15

本项目教程详细介绍了如何对LLama3.1模型进行不同类型的微调，包括全参数微调、Lora微调和QLora微调，并附有完整的项目源码和详细的流程教程，旨在帮助开发者深入理解大模型微调的机制和应用，提升模型在特定任务上...

【大模型实战案例】手把手教大家微调大模型 Llama 3_llama3模型微调

2401_85377976的博客

07-13

1022

Llama 3 近期重磅发布，发布了 8B 和 70B 参数量的模型，我们对 Llama 3 进行了微调！！！今天手把手教大家使用 XTuner 微调 Llama 3 模型。

【AI学习-comfyUI学习-第二十三-法线贴图工作流-depth 结构+MiDaS 法线-各个部分学习】

qq_22146161的博客

12-25

1873

最近，学习comfyUI，这也是AI的一部分，想将相关学习到的东西尽可能记录下来。不断学习摸索中。

Math - 中心化，标准化和归一化

最新发布

guoqx的专栏

12-30

391

摘要：归一化是将数据转换为统一尺度的处理方法，消除量纲差异，便于比较与分析。常见方法包括Min-Max缩放（线性映射到固定区间）和Z-score标准化（均值0，标准差1）。Min-Max适用于需要固定范围的情况，但对异常值敏感；Z-score适用于单位不同或存在离群值的场景。归一化在数据分析、信号处理和机器学习中广泛应用，需根据数据分布和算法需求选择合适方法，并注意保存参数以确保一致性。流程包括数据清洗、方法选择、拟合转换和效果评估。

做了一块可以调用百度云语音识别api和tts api的esp32 s3开发板，支持跑ai小智机器人的源码，基于idf5.5.1库编译，分享下

net3m33的专栏

12-25

1104

做了一块可以调用百度云语音识别api和语音合成tts接口的esp32 s3开发板，支持跑ai小智机器人的源码，基于idf5.5.1库编译，分享

6神经网络框架

2301_81531626的博客

12-27

1476

本文系统介绍了神经网络的基本框架和发展过程。首先指出线性模型的局限性，说明其无法拟合复杂非线性关系。接着引入分段线性曲线和Sigmoid函数，通过参数调节实现曲线拟合。随后详细阐述了神经网络的构建过程：从单输入扩展到多特征输入，引入矩阵运算简化表达式，并说明激活函数的作用。最后介绍深度学习中ReLU激活函数的优势，其简单计算特性可有效组合成复杂曲线。全文通过数学公式和图示相结合，清晰展现了神经网络从线性模型到深度学习框架的演进逻辑。

Q-learning 算法 —— 无模型（model-free）强化学习

一杯水果茶！足矣~

12-25

1748

从已知模型到 Model-free 的强化学习转变：Q-Learning 算法，通过详细示例来讲解，理解 Q-table 的更新和贪婪策略

2025国自然资助率12.29%创新低！2026年如何用数据与AI“破局”？

imbackneverdie的博客

12-25

1381

这绝非简单的文字堆砌，它内在嵌入了对国自然申报规范的理解，能有效帮你规避常见的“方向偏离”“逻辑混乱”“格式错误”等基础问题，将你从繁琐的框架搭建中解放出来，专注于核心内容的精雕细琢。国自然2025年的资助率降至历史新低的12.29%，数万科研人员面对着更激烈的竞争与更严格的评审标准，对于2026年度的申报者而言，“高效准备，少走弯路”已不是口号，而是生存法则。它不仅告诉你“是什么”，更分析“为什么”和“怎么办”，直接为你的选题方向和立项论证提供坚实的数据支撑。模块，堪称科研人员的“选题外脑”。

【AI学习-comfyUI学习-第二十五节-Shuffle洗牌模式布局+contronet其他应用结合-各个部分学习】

qq_22146161的博客

12-27

1208

最近，学习comfyUI，这也是AI的一部分，想将相关学习到的东西尽可能记录下来。不断学习摸索中。

llama3 微调qlora

02-15

为了能够顺利运行QLoRA微调过程，需先准备合适的Python环境并安装必要的依赖包。这通常涉及PyTorch以及Transformers库的最新版本。 ```bash pip install torch transformers accelerate bitsandbytes ``` #### ...