Llama-Factory微调 Qwen2.5-VL-3B 模型

原创

已于 2025-09-23 15:58:39 修改 · 1.2k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能

于 2025-08-21 19:57:01 首次发布

一、环境准备

1、硬件要求

GPU：LoRA 微调在不同精度下的显存需求如下。
- 16-bit 精度（bf16 或 fp16）：对于 7B 参数模型，LoRA 微调通常需要约 16GB 显存。Qwen2.5-VL-3B 是 3B 参数模型，显存需求会更低，估计在 8-12GB 显存 左右。
- 8-bit 量化（QLoRA）：显存需求进一步降低，3B 模型可能需要 4-6GB 显存。
- 4-bit 量化（QLoRA）：显存需求更少，3B 模型可能仅需 3-4GB 显存。
内存：推荐 32GB RAM 或更高，以确保流畅运行。如果数据集较小，16GB RAM 可能也够用。
存储：预留 50GB 以上空间（3B 模型未量化的权重文件约为 6-8GB。量化后的模型会更小）。

2、环境搭建

创建虚拟环境

# 安装Anaconda（若未安装），然后创建环境
conda create -n qwen-vl-finetune python=3.10 -y
conda activate qwen-vl-finetune

安装依赖

# 安装PyTorch（需匹配CUDA版本，以cu118为例）
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

# 克隆Llama-Factory最新代码（确保支持Qwen2.5-VL）
git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory

# 安装核心依赖（含多模态支持）
pip install -e ".[torch,metrics]" --no-build-isolation
pip install modelscope transformers

安装 BitsAndBytes

如果要在 Windows 平台上启用量化 LoRA（QLoRA），需要安装预构建版本的库，支持 CUDA 11.1 到 12.2，根据CUDA版本选择合适的发布版本。