QLoRA微调后的Llama3模型在本地运行

原创 已于 2024-12-24 08:44:56 修改 · 461 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #深度学习 #自然语言处理 #机器学习

于 2024-12-23 10:27:09 首次发布

简介

首先使用Llama-3-1-8B作为例子进行解析。如何Llama-3-1-8B想要在本地电脑运行，那么它需要多少GPU才能完美的运行起来了，大约需要19.2G的GPU才能运行。那么我们的机子最好是4090,哎。。。。。。。
这成本太高了，普通人是无法承受的。

因为很多人看到大模型运行成本这么高，所有都在想使用什么方式降低成本，又能达到接近的效果。参数高效微调后的大模型就是此产物，参数高效微调相关知识可以看我之前写的文章。

今天这篇文章目的不是讲解大模型的知识，今天的内容是怎么在自己的电脑上运行Llama-3-1-8B大模型。
例子中的模型是自己通过4bit量化训练的模型，可以在8G的以下的机子上可以运行。

这里插入一个如何计算大模型运行是需要消耗多少资源。
1）估算公式（该公式来自于Sam Stoelinga简化[1]）
在这里插入图片描述

符号 描述
M 用千兆字节 (GB) 表示的 GPU 内存
P 模型中的参数数量。例如，一个 7B 模型有 7 亿参数。
4B 4 字节，即每个参数使用的字节数
32 4 字节中有 3
最低0.47元/天 解锁文章
大模型综述
posuosini的博客
02-23 2945
有关当下大模型的模型分类，推理加速，训练加速工具概览
【大模型实战案例】手把手教大家微调大模型 Llama 3_llama3模型微调
2401_85377976的博客
07-13 1022
Llama 3 近期重磅发布，发布了 8B 和 70B 参数量的模型，我们对 Llama 3 进行了微调！！！今天手把手教大家使用 XTuner 微调 Llama 3 模型。
【大模型】微调一个大模型需要多少 GPU 显存？
酒酿小圆子呀～
03-31 3293
模型微调所需的 GPU 显存取决于多个因素，包括模型大小、微调方法和优化策略。全量微调需要较大显存，而高效微调方法如 LoRA 和 QLoRA 可以显著减少显存需求。在实际项目中，还需考虑硬件配置和训练策略等因素来更精确地估算 GPU 显存需求。
windows环境Ollama部署Llama3中文并调优
u012864987的专栏
05-20 6618
地址：https://ollama.com/downloadgithub地址： https://github.com/ollama/ollama直接运行exe程序安装。安装完成后，可以在右下角看到ollama图标环境变量控制：OLLAMA_MODELS 配置模型下载部署的目录, 示例： D:\modelsOLLAMA_HOST 服务地址端口， 示例： 0.0.0.0:11434ollama运行命令见 ollama --help 查看帮助。
LLaMA-Factory|微调大语言模型初探索(3)，qlora微调deepseek记录
qq_29676069的博客
02-20 1663
使用lora微调方法微调1b模型显存占用率甚至大于使用qlora微调3b模型。训练方法相同的情况下，不同显卡之间的显存使用量通常不完全相同，上述现存使用情况只能作为参考。
利用QLoRA实现低配置微调llama3.2
python1222_的博客
12-25 1673
Llama是Meta开发的大语言模型系列，其采用自回归架构，可以用于文本生成、对话、代码编写等功能，并且完全开源且免费。目前，Meta已经发布了其最新的Llama大模型系列——Llama-3.2系列。在HuggingFace上面已经可以从Meta的主页下载到以下模型的训练参数：本文将介绍适合低配置本地环境微调Llama-3.2-3B的流程。
Llama 3 模型微调的步骤
keyboard专栏
06-28 1646
LlaMa-Factory中已经为我们提供了非常完整的模型合并方法，同样，我们只需要编写脚本文件来执行合并操作即可，即llama3_merge_model.sh。同样，该脚本文件也可以按照此前single_lora_llama3.sh脚本相类似的操作，就是将课件中提供的脚本直接上传到Jupyter主目录下，再复制到LlaMa-Factory主目录下进行运行。建议在执行项目的依赖安装之前升级 pip 的版本，如果使用的是旧版本的 pip，可能无法安装一些最新的包，或者可能无法正确解析依赖关系。
一文搞懂大模型的微调 - （LLaMA-Factory和QLoRA）
2301_81940605的博客
06-23 916
通过 LLaMA Factory，可以在无需编写任何代码的前提下，在本地完成上百种预训练模型的微调。
Llama2模型微调实战：用QLoRA在消费级GPU训练大模型
威哥说编程
02-01 762
Llama2是Meta公司推出的开源大规模语言模型，其目标是为学术研究和行业应用提供高效且可控制的语言生成能力。Llama2模型系列包括不同规模的版本，从7B（70亿参数）到70B（700亿参数）不等。在各类NLP任务中，Llama2展现出了非常强的能力，特别是在生成任务和文本理解任务上。尽管Llama2在多个场景下表现优异，但由于其模型参数量庞大（例如70B参数的模型），这使得在消费级GPU（例如NVIDIA的RTX 3080或3060等）上进行训练和微调变得非常困难。
QLORA：高效微调量化大型语言模型
人工智能讲师分享前沿技术
09-09 2208
人工智能咨询培训老师叶梓 转载标明出处传统的16位精度微调需要超过780GB的GPU内存，对于参数量极大的模型，如65B（即650亿参数）的模型，在资源有限的情况下大模型的微调几乎是不可能的。华盛顿大学的研究者团队提出了一种名为QLORA的高效微调方法。它通过量化技术和低秩适配器（LoRA）显著降低了微调过程中的内存需求，使得在单个消费级 GPU 上微调高达65B参数的模型成为可能。QLORA 不仅减少了资源消耗，还保持了与全精度16位微调相当的性能，为大型模型的微调和部署开辟了新的可能性。
大语言模型微调的项目，包含了使用QLora微调ChatGLM和LLama
08-23
微调环节针对 GhatGLM-6B 模型展开，关键参数有：需指定微调所用基础模型（该模型需在 HuggingFace 平台存在，无需提前下载，训练启动时会自动下载，若已提前下载，指定本地路径并将对应参数设为 True）；...
精选资源
大模型微调-对LLama3.1进行全参微调+Lora微调+QLora微调-附项目源码+流程教程-优质项目实战.zip
10-15
本项目教程详细介绍了如何对LLama3.1模型进行不同类型的微调，包括全参数微调、Lora微调和QLora微调，并附有完整的项目源码和详细的流程教程，旨在帮助开发者深入理解大模型微调的机制和应用，提升模型在特定任务上...
Math - 中心化，标准化和归一化
guoqx的专栏
12-30 391
摘要：归一化是将数据转换为统一尺度的处理方法，消除量纲差异，便于比较与分析。常见方法包括Min-Max缩放（线性映射到固定区间）和Z-score标准化（均值0，标准差1）。Min-Max适用于需要固定范围的情况，但对异常值敏感；Z-score适用于单位不同或存在离群值的场景。归一化在数据分析、信号处理和机器学习中广泛应用，需根据数据分布和算法需求选择合适方法，并注意保存参数以确保一致性。流程包括数据清洗、方法选择、拟合转换和效果评估。
人工智能基础篇：概念性名词浅谈（第十五讲）
m0_53104033的博客
12-31 185
本文介绍了两种改进的自编码器模型。正则自编码器通过在损失函数中添加正则化项，实现了对稀疏表示、噪声鲁棒性等特性的学习，突破了传统自编码器的容量限制。随机编码器则通过向编解码器注入噪声，形成生成模型架构，其训练目标是最小化输入与重构间的负对数似然。文章还特别介绍了针对矩阵数据的改进版本MRAE及其在异常检测中的应用。这些模型通过不同的正则化机制，有效提升了自编码器的特征学习能力。
2025年终总结
最新发布
李梨同学的博客
12-31 507
以往，想把一个产品从想法变成现实，往往离不开一整条由“螺丝钉”拼出来的流水线：需求评审、产品对接、研发排期、测试上线，每一步都要仰赖他人的时间与资源。我试图推倒技术的高墙，用通俗有趣的语言，把晦涩的AI原理“翻译”给更多人听。这条路注定充满了不确定性。正是这风暴般的时代，打破了旧有的壁垒，赋予了像我这样曾经“不务正业”的个体前所未有的杠杆。这一年，我拒绝做一个默默敲代码的“独行侠”，决定走出去，构建自己的知识品牌。三年后再次站在时间的节点回望，这一年于我而言，是从“被浪推着走”到“学会造浪”的转折点。
6神经网络框架
2301_81531626的博客
12-27 1480
本文系统介绍了神经网络的基本框架和发展过程。首先指出线性模型的局限性，说明其无法拟合复杂非线性关系。接着引入分段线性曲线和Sigmoid函数，通过参数调节实现曲线拟合。随后详细阐述了神经网络的构建过程：从单输入扩展到多特征输入，引入矩阵运算简化表达式，并说明激活函数的作用。最后介绍深度学习中ReLU激活函数的优势，其简单计算特性可有效组合成复杂曲线。全文通过数学公式和图示相结合，清晰展现了神经网络从线性模型到深度学习框架的演进逻辑。
【AI学习-comfyUI学习-第二十五节-Shuffle洗牌模式布局+contronet其他应用结合-各个部分学习】
qq_22146161的博客
12-27 1211
最近，学习comfyUI，这也是AI的一部分，想将相关学习到的东西尽可能记录下来。不断学习摸索中。
2025年智能体架构与主流技术深度研究报告：从生成式AI迈向自主执行层
chengoodflower的博客
12-30 646
在2025年，智能体的记忆技术已经超越了简单的向量检索增强生成（Naive RAG），向着结构化、分层化和具有自我管理能力的**操作系统级记忆（OS-Level Memory）**演进。这简化了智能体的架构，使得开发者无需维护独立的推理服务即可实现高质量的检索。：在多智能体系统（Multi-Agent Systems）中，o3 被广泛用于担任“编排者（Orchestrator）”或“团队领导（Team Lead）”的角色，负责将模糊的用户需求转化为具体的子任务序列，并分配给其他更快速的模型去执行。
No105:甘地&AI：智能的非暴力变革与社会智慧
weixin_43135215的博客
12-28 754
在追求AI社会智能进步的同时，我们需要甘地式的社会智慧和人文精神，让智能不仅能够处理数据，更能够理解人性、促进和谐、实现公正、服务人类，成为真正推动社会进步和人类福祉的智能力量。
llama3 微调qlora
02-15
### 如何使用 QLoRA 对 LLaMA3 模型进行微调 #### 准备环境与依赖库安装 为了能够顺利运行QLoRA微调过程，需先准备合适的Python环境并安装必要的依赖包。这通常涉及PyTorch以及Transformers库的最新版本。 ```bash pip install torch transformers accelerate bitsandbytes ``` #### 加载基础模型和分词器 通过指定的基础模型路径来加载预训练好的LLaMA3模型及其对应的分词器[^2]： ```python from transformers import AutoModelForCausalLM, AutoTokenizer base_model_path = "llm/Meta-Llama-3.1-8B-Instruct/" tokenizer = AutoTokenizer.from_pretrained(base_model_path) model = AutoModelForCausalLM.from_pretrained(base_model_path) ``` #### 初始化 QLoRA 配置 QLoRA是一种基于LoRA的方法，在保持原有大模型性能的同时减少额外参数量。这里会创建一个适应于当前任务的新模型配置，并应用到原始的大规模语言模型上[^1]。 ```python import peft # 假设peft已正确安装 lora_config = peft.LoRAConfig( r=8, # 秩数(rank)，一般取较小值即可 lora_alpha=32, target_modules=["q_proj", "v_proj"], # 被替换模块列表 ) qlora_model = peft.get_peft_model(model, lora_config) ``` #### 数据集准备 准备好用于微调的数据集非常重要。数据应当被处理成适合输入给定模型的形式，比如转换为token IDs序列等。 ```python def prepare_dataset(file_path): data = [] with open(file_path, 'r', encoding='utf-8') as f: for line in f.readlines(): text = json.loads(line)['text'] tokens = tokenizer(text, truncation=True, padding="max_length", max_length=512).input_ids data.append(tokens) return data train_data = prepare_dataset('path_to_train_file.json') eval_data = prepare_dataset('path_to_eval_file.json') ``` #### 训练设置 定义优化器、学习率调度策略以及其他超参设定；同时也要考虑是否启用混合精度加速等功能以提高效率。 ```python optimizer = torch.optim.AdamW(qlora_model.parameters(), lr=5e-5) scheduler = get_linear_schedule_with_warmup(optimizer, num_warmup_steps=0, num_training_steps=len(train_data)) # 如果GPU可用，则移动模型至CUDA设备 device = "cuda" if torch.cuda.is_available() else "cpu" qlora_model.to(device) ``` #### 开始微调流程 利用之前准备的一切资源正式开启微调阶段的工作。期间可根据实际情况调整batch size大小、epoch数量等因素。 ```python for epoch in range(num_epochs): qlora_model.train() total_loss = 0. for batch_idx, input_ids in enumerate(batched_loader(train_data)): optimizer.zero_grad() outputs = qlora_model(input_ids=input_ids.to(device)) loss = compute_loss(outputs.logits, labels=input_ids.to(device)) # 自定义损失函数 loss.backward() optimizer.step() scheduler.step() total_loss += loss.item() avg_epoch_loss = total_loss / (batch_idx + 1) print(f'Epoch {epoch}, Loss: {avg_epoch_loss}') ``` #### 保存微调后的模型 完成所有迭代之后，记得将最终得到的最佳状态下的模型权重妥善保存下来以便后续部署或进一步改进。 ```python output_dir = "./fine_tuned_llama_3_qloara/" if not os.path.exists(output_dir): os.makedirs(output_dir) qlora_model.save_pretrained(output_dir) tokenizer.save_pretrained(output_dir) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值