使用LLaMA-Factory进行模型量化

原创 已于 2024-11-05 13:38:20 修改 · 4.6k 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#llama #python

于 2024-11-04 16:26:26 首次发布

在这里插入图片描述

使用LLaMA-Factory进行模型量化

以下实验基于微调后模型进行量化。针对基座模型的直接量化，可以使用与部署中使用的数据类型紧密匹配的公开通用数据集作为校准数据集量化（任意数据集）该部分可以参考使用llm-compressor。

量化方法

LLaMA-Factory 支持多种量化方法，包括:

  • AQLM
  • AWQ
  • GPTQ
  • QLoRA
  • …
    GPTQ 等后训练量化方法(Post Training Quantization)是一种在训练后对预训练模型进行量化的方法。

量化导出

使用GPTQ和AWQ等后训练量化方法对模型进行量化时，需要进行以下步骤：（即使直接使用AutoAWQ和AutoGPTQ对qwen进行量化都需要进行以下步骤）

  1. 对模型进行微调
  2. 构建校准数据集
  3. 将微调后模型进行量化导出

以下是量化导出时使用的yaml文件以及其中的基础参数

### examples/merge_lora/llama3_gptq.yaml 
### model
model_name_or_path: meta
最低0.47元/天 解锁文章
xiong_wq
关注
LLaMA-Factory可视化界面微调chatglm2；LoRA训练微调模型 简单案例
weixin_42357472的博客
05-09 7390
lore模型训练 参考：https://github.com/huggingface/peft。
LLM 推理并发不够怎么解？基于 LLaMA-Factory 的模型量化实战指南
kakaZhui的博客
05-07 452
想象一下，你部署的 LLM 应用在高峰期响应缓慢、用户请求大量排队甚至超时失败——这不仅严重影响用户体验，更可能直接导致业务损失。造成并发瓶颈的核心原因之一，就是 LLM 推理本身对计算资源（尤其是 GPU 显存和计算单元）的巨大消耗。那么，当我们的 LLM 推理服务并发告急时，该如何应对？除了增加硬件投入（这往往成本高昂），模型量化 (Model Quantization)是一种在不显著牺牲（有时甚至能略微提升）性能的前提下，有效降低模型显存占用、提升推理速度，从而间接提高并发处理能力的关键技术。
大模型开发和微调工具Llama-Factory--＞量化1(GPTQ 和 AWQ)
weixin_46034279的博客
12-01 3735
大型语言模型（LLMs）如 GPT 和 OPT 在各种任务上展现了卓越的性能，但同时也因其庞大的模型尺寸带来了硬件上的挑战，尤其是在内存大小和内存带宽方面。这限制了这些模型在边缘设备上的部署和使用。图 1.我们介绍 AWQ，这是一种用于 LLM 的多功能权重量化方法。为了实现 AWQ，我们开发了 TinyChat，将4 bit 量化 LLM 部署到各种边缘平台，与FP16相比，性能提升了3-4 倍。
LLaMA Factory对大模型微调和导出量化操作
沐雪架构师
03-21 1555
14、输出目录：会自动生成一个路径，要确保每次的目录都不相同，若已存在，则需要去服务器上删除，目录在llamafactory-save目录下。11、截断长度：长度越长越占显存，根据样本里的文本长度，大部分数据的最大长度值即可，比如，有90%的样本数据的长度是200，这里填写200.12、批处理大小：超参数，需要根据你服务器的配置，尝试运行几次，找到资源利用率最高的数值。4、对话模板：不同的模型对应的对话模板是不一样的。3、检查点路径：训练过程中保存的权重，可从其中的一个权重重新训练。
LLaMA Factory 如何对大模型进行微调、导出和量化！掌握这几步，轻松搞定！
最新发布
2301_81888214的博客
10-23 514
LLaMA Factory 是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台。
LLamaFactory 模型量化
m0_57755179的博客
07-01 672
在LLamaFactory里面的saves里面找到对应日期下面的checkpointxxx即可；
大模型开发和微调工具Llama-Factory--＞量化2(AQLM和OFTQ)
weixin_46034279的博客
12-01 1641
作者们探讨了如何通过加性量化(Additive Quantization, AQ)方法实现大型语言模型(LLMs)的极端压缩，目标是将模型的比特数压缩到每个参数仅2到3比特。图 1：在 LLAMA2 的 7, 13 和 70B 模型上，AQLM(2 位)相对于最先进的 QuIP#（2 位）和原始 16 位权重的比较。大模型的参数量通常达到数十亿级别，需要大量的计算和存储资源。本文证明，通过我们提出的半二次量化 (HQQ) 方法进行免校准量化，其质量可与 GPTQ 和 AWQ 等依赖数据的流行方法相媲美。
llama3 微调教程之 llama factory 的 安装部署与模型微调过程，模型量化和gguf转换。
热门推荐
失业求捞！
05-17 2万+
本文记录了从环境部署到微调模型、效果测试的全过程，以及遇到几个常见问题的解决办法，亲测可用（The installed version of bitsandbytes was compiled without GPU support. NotImplementedError: Architecture ‘LlamaForCausalLM’ not supported!
使用LLaMA-Factory快速训练自己的专用大模型
程序员，AI探索者
09-04 1950
大家好，我是每天分享AI应用的萤火君！本文聊聊 LLama-Factory，它是一个开源框架，这里头可以找到一系列预制的组件和模板，让你不用从零开始，就能训练出自己的语言模型（微调）。不管是聊天机器人，还是文章生成器，甚至是问答系统，都能搞定。而且，LLama-Factory 还支持多种框架和数据集，这意味着你可以根据项目需求灵活选择，把精力集中在真正重要的事情上——创造价值。使用LLama-Factory，常见的就是训练LoRA模型，增强模型在某方面的生成能力。
LLaMA-Factory 大模型微调超简单，从零开始玩转大模型微调
持续分享有趣的技术干货
07-30 2048
LLaMA-Factory 大模型微调超简单～～
【大模型】基于LLaMA-Factory的模型高效微调（1）
酒酿小圆子呀～
11-27 1677
LLaMA Factory 是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台。通过 LLaMA Factory，可以在无需编写任何代码的前提下，在本地完成上百种预训练模型的微调，框架特性包括：模型种类：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi 等等。
LLaMA-Factory微调llama3之模型的合并，并采用llama.cpp量化成ollama支持的gguf格式模型，生成api使用
猪神-PIGGOD
08-08 8347
上期我们已经成功的训练了模型，让llama3中文聊天版知道了自己的名字这次我们从合并模型开始，然后使用llama.cpp量化成gguf格式，并且调用api。
张宏刚245页ppt《大语言模型基础导论》（研究生课程）附资源
2401_85375186的博客
02-21 1228
大模型很多技术干货，都可以共享给你们，如果你肯花时间沉下心去学习，它们一定能帮到你！
使用llama-factory和llama.cpp微调量化Qwen2
weixin_48597428的博客
07-19 1565
在目录LLaMA-Factory/examples/train_lora/llama3_lora_sft_praise.yaml。2.将处理好的数据集上传到/data 文件夹下面，并修改dataset_info.json文件。生成模型将会放在LLaMA-Factory/saves下面。将合并后的模型转化为fp16精度的gguf格式文件。量化为int4精度的模型。1.选定数据集的格式。自己的测试acc脚本。
张高兴的大模型开发实战：（五）使用 LLaMA Factory 微调与量化模型并部署至 Ollama
weixin_55010563的博客
04-18 970
模型路径设置为上面下载的模型路径，例如在 LLaMA-Factory 目录下新建一个 models 文件夹，将下载的模型移动到此文件夹内，可设置路径为 models/Qwen2.5-7B-Instruct。秩越大，引入的可训练参数越多，模型对新数据的适应能力越强，但也增加了计算和内存的需求，可能导致过拟合。Supervised Fine-Tuning：监督微调是最常见的微调方法，使用标注好的数据对预训练模型进行进一步训练，以适应特定任务（如分类、问答等）。"output": "不是的，你有了一个继母。
大模型开发实战，使用 LLaMA Factory 微调与量化模型并部署至 Ollama
2301_81888214的博客
07-04 869
LLaMA Factory 是一个开源的全栈大模型微调框架，简化和加速大型语言模型的训练、微调和部署流程。
在Modelarts上微调量化Llama3，并用docker部署
普通人能赶追天才的方法只有坚持
06-10 1854
本文先使用llama-factory去微调llama3大模型，然后使用llama.cpp去量化模型并用docker部署到服务器上让qq机器人能够调用服务，实现qq群内问答。
【科普】llamafactory的参数详解 1：（量化等级和方法 RoPE插值方法 加速方式），会对照图片解释，适合小白了解学习
ntrybw的博客
03-18 1948
量化等级是指将连续或高精度的数据（如浮点数）转换为离散或低精度表示（如整数）时所划分的“级别”数量。量化等级决定了数据的表示范围和精度。
llama-factory模型量化
03-31
### LLaMA-Factory 模型量化的实现 LLaMA-Factory 提供了多种模型量化方法的支持，这些方法可以显著减少模型的存储需求并提高推理速度，而不会明显降低性能。以下是关于如何通过 LLaMA-Factory 实现模型量化的详细介绍。 #### 1. 后训练量化 (Post Training Quantization, PTQ) 后训练量化是一种在模型完成训练之后应用的技术，用于将浮点权重转换为低精度表示形式（如 INT8 或更低）。这种方法不需要额外的数据集来进行微调，因此计算成本较低[^3]。 要使用 LLaMA-Factory 进行后训练量化，可以通过 CLI 工具指定目标量化方案。例如： ```bash llamafactory-cli quantize --model-path ./models/llama3 \ --quant-method gptq \ --output-path ./quantized_models/gptq_llama3 ``` 上述命令中： - `--model-path` 是原始浮点模型的位置。 - `--quant-method` 表示使用的量化方法，在这里选择了 GPTQ。 - `--output-path` 定义了保存量化后的模型路径。 #### 2. LoRA 配合量化 LoRA（Low-Rank Adaptation）是一种参数高效微调技术，允许仅更新少量新增加的矩阵来适应新任务。当与量化结合时，可以在保持高效率的同时进一步优化内存占用和运行时间[^2]。 如果希望利用 LoRA 和量化共同作用，则需先按照配置文件执行训练过程，随后再对最终得到的结果实施量化操作。比如下面这个 YAML 文件片段展示了如何设置 LoRA 参数以及后续可能涉及的量化选项： ```yaml train: model_name_or_path: "./pretrained_model" output_dir: "./results/lora_quantized/" lora_config: r: 8 # Rank of the LoRA matrices. alpha: 32 # Scaling factor for weights update during training. dropout_p: 0 # Dropout probability applied to A & B layers. post_training_quantization: method: "gptq" # Specify which type of post-training quantization you want here. bits_per_weight: 4 # Number of bits used per weight after compression. ``` 接着依据此配置启动整个流程即可自动处理好相关联的任务部分。 #### 3. 导出已量化的模型 一旦完成了所有必要的调整步骤之后，就可以轻松地导出已经经过压缩处理过的版本以便部署到实际应用场景当中去。通常情况下会生成一个新的目录结构或者单独的一个二进制档案文件作为结果输出物之一。 --- ### 示例代码展示完整的端到端工作流 假设我们有一个预训练好的基础大语言模型，并希望通过 LLaMA-Factory 来对其进行量化处理，那么可以从头至尾遵循如下脚本逻辑顺序依次完成各项子任务： ```python from llamafactory import ModelLoader, Trainer, PostTrainerQuantizer # Step One - Load Pre-Trained Base Model base_model = ModelLoader.load_from_pretrained('./path/to/base/model') # Optional Two - Apply Fine-Tuning via LoRA If Needed trainer = Trainer(base_model=base_model, config_file='examples/train_lora/llama3_lora_predict.yaml') fine_tuned_model = trainer.train() # Final Three - Perform Quantization On The Trained/Fine-Tuned Version Of Itself quantizer = PostTrainerQuantizer(model=fine_tuned_model, quant_method="gptq", num_bits=4) compressed_model = quantizer.quantize() compressed_model.save("./final_compressed_model/") ``` 以上 Python 脚本概括了一个典型的工作管线，涵盖了加载初始状态、可选地引入适配层改进特定领域表现力以及最后一步至关重要的尺寸缩减环节等内容要点。 ---
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值