LLaMA Factory多模态微调实践：微调Qwen2-VL构建文旅大模型

于 2025-05-01 09:30:00 发布
阅读量1.2k 收藏 18
点赞数 27
文章标签： 人工智能 大模型应用 AI大模型 LLaMA Factory Qwen 大模型微调 LLM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/python12345_/article/details/147612187
版权

在这里插入图片描述

LLaMA Factory

图片

LLaMA Factory是一款开源低代码大模型微调框架，集成了业界最广泛使用的微调技术，支持通过 Web UI 界面零代码微调大模型，目前已经成为开源社区内最受欢迎的微调框架之一，GitHub 星标超过 4.7 万。

本教程将基于通义千问团队开源的新一代多模态大模型 Qwen2-VL-2B-Instruct，介绍如何使用 矩池云 平台及 LLaMA Factory 训练框架完成文旅领域大模型的构建。

GitHub地址：https://github.com/hiyouga/LLaMA-Factory

一

直接使用LLaMA-Factory镜像

注：最新版LLaMa-Factory已经上线

选择机器：显卡型号：4090 24G显存 （为保证下载速度，请选择亚太 2 区的机器）

租用实例时，请搜索关键词LLaMaFactory选择镜像LLaMA-Factory20250424(自动启动WebUI)或者LLaMA-Factory20250424(手动启动WebUI)即可使用

LLaMA-Factory20250424(自动启动WebUI)开机后，会自动启动Web UI服务

LLaMA-Factory20250424(手动启动WebUI)开机后，需要通过命令手动启动服务：llamafactory-cli webui

实例运行后，可通过「我的实例」页面中的服务链接进行访问。

图片

二

亲自部署LLaMA-Factory

如果想亲自在实例上部署LLaMA-Factory，则步骤如下：

01

启动实例

  • 显卡型号：4090 24G显存 （为保证下载速度，请选择亚太 2 区的机器）
  • 镜像：Pytorch 2.5.1
  • 配置端口号：8080（WebUI 服务） 11434（API 服务）
  • 设置环境变量：GRADIO_SERVER_PORT=8080 （定义 Gradio webUI 服务的端口号，注：环境变量只能在 terminal 中查看，notebook 无法查看）

02

去除国内镜像源

如果您使用的是亚太 2 区的机器，则在部署之前，先去除默认的国内 pip 源：

具体方法在matpool主站右下角点击“客服”寻问AI客服：“如何去除pip源”

图片

03

安装LLaMA-Factory

实例中运行：

在这里插入图片描述

实例中运行：

llamafactory-cli webui #注意请在LLaMA-Factory目录下运行这条命令

注：如果实例不在亚太2区，则配置modelhub下载模型

USE_MODELSCOPE_HUB=1 llamafactory-cli webui
# USE_MODELSCOPE_HUB 设为 1，表示模型从 ModelScope 魔搭社区下载。避免从 HuggingFace 下载模型导致网速不畅。

服务启动后，可通过“我的实例”页面中的服务链接进行访问。

三

使用LLaMA-Factory微调模型

01

准备数据集

LLaMA-Factory 项目内置了丰富的数据集，放在了 data 目录下。您可以跳过本步骤，直接使用内置数据集。您也可以准备自定义数据集，将数据处理为框架特定的格式，放在 data 下，并且修改 dataset_info.json 文件。

如果直接使用了LLama-Factory镜像，则用户可直接在data目录下查看到images文件夹和train.json数据集，并且已经在dataset_info.json中加入train数据集。

在这里插入图片描述

如果是按照步骤二自己部署的 LLaMA-Factory，则可自行下载数据集并存放到 data 目录：

wget https://atp-modelzoo-sh.oss-cn-shanghai.aliyuncs.com/release/llama_factory/Qwen2-VL-History.zip
mv data rawdata && unzip Qwen2-VL-History.zip -d data # 这一步会将原LLaMA-Facroty 目录下的 data 文件转移到rawdata中

数据集中的样本为单轮对话形式，含有 261 条样本，每条样本都由一条系统提示、一条用户指令和一条模型回答组成，微调过程中模型不断学习样本中的回答风格，从而达到学习文旅知识的目的。

数据样例如下所示：

图片

02

模型微调

2.1 监控显存使用情况

在微调过程中，需要持续观测显存用量，及时发现显存用超的情况：

watch -n 1 nvidia-smi

图片

2.2 配置参数

进入 WebUI 后，可以切换语言到中文（zh）。首先配置模型，本教程选择Qwen2-VL-2B-Instruct模型，微调方法修改为 full，针对小模型使用全参微调方法能带来更好的效果。

图片

可以点击「预览数据集」按钮查看训练数据；点击「关闭」按钮返回训练界面：

图片

设置学习率为 1e-4，训练轮数为 10，更改计算类型为 pure_bf16，梯度累积为 2，有利于模型拟合。在其他参数设置区域修改保存间隔为 1000，节省硬盘空间。

图片

2.3 启动微调

  • 将输出目录修改为 train_qwen2vl，训练后的模型权重将会保存在此目录中。
  • 点击「预览命令」可展示所有已配置的参数，如果想通过代码运行微调，可以复制这段命令，在命令行运行。
  • 点击「开始」启动模型微调。
  • 启动微调后需要等待一段时间，待模型下载完毕后可在界面观察到训练进度和损失曲线。模型微调大约需要 14 分钟，显示“训练完毕”代表微调成功。

图片

2.4 模型对话

将检查点路径改为 train_qwen2vl

图片

选择「Chat」栏，点击「加载模型」即可在 Web UI 中和微调后的模型进行对话。

图片

首先点击测试图片并上传至对话框的图像区域，接着在系统提示词区域填写“你是一个导游，请生动有趣地回答游客提出的问题”。

在页面底部的对话框输入想要和模型对话的内容，点击提交即可发送消息。

测试图片 1：

图片

测试图片 2：

图片

图片

图片

03

模型微调参考

https://gallery.pai-ml.com/#/preview/deepLearning/nlp/llama_factory_qwen2vl

如何零基础入门 / 学习AI大模型？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

想正式转到一些新兴的 AI 行业，不仅需要系统的学习AI大模型。同时也要跟已有的技能结合，辅助编程提效，或上手实操应用，增加自己的职场竞争力。

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高

那么我作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，希望可以帮助到更多学习大模型的人！至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

👉 福利来袭优快云大礼包：《2025最全AI大模型学习资源包》免费分享，安全可点 👈

全套AGI大模型学习大纲+路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

read-normal-img

640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉 福利来袭优快云大礼包：《2025最全AI大模型学习资源包》免费分享，安全可点 👈

img

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。

【深度学习】LLaMA-Factory 微调sft Qwen2-VL 进行印章识别
q742971636的博客
10-14 1682
了解如何利用LLaMA-Factory进行Qwen2-VL模型的微调是掌握先进机器学习技能的关键一步。本文将带你探索如何设置LLaMA-Factory环境、配置训练参数、处理数据集，最终实现多卡训练和模型微调。即使是初学者，凭借这篇博客，你也能顺利上手并自主完成Qwen2-VL模型的定制化训练。
LLM - 使用 LLaMA-Factory 微调 Qwen2-VL SFT(LoRA) 图像数据集 教程 (2)
AGI
11-12 3085
LLaMA-Factory 是开源的大模型微调框架，用于高效地微调和部署大语言模型，支持多种预训练模型和微调算法，提供完整的工具和接口，对于预训练的模型进行定制化的训练和调整，以适应特定的应用场景。
5 分钟用满血 DeepSeek R1 搭建个人 AI 知识库（含本地部署）
Jay的个人博客
02-04 6万+
备注：评论区回复“DeepSeek”，免费领取万字DeepSeek指南。看到这里，相信你已经找到最适合自己的 DeepSeek 个人知识库方案了。如果你和大多数人一样，选择使用官方 API ，那就不用再为性能和本地硬件资源发愁；如果你恰好有充足的算力和技术储备，本地部署也是个不错的选择。不过，在整个过程中，我想和你分享的不仅仅是这些技术细节。而是一个中国团队能做出世界级大模型，一个需要 +86 才能注册的大模型。很庆幸，我们能作为中国 AI 技术进步的见证人。当然，暂时的领先不是终点。
大模型入门实战：通过 HuggingFace 调用 Llama3
python12345_的博客
01-10 1591
至此，我们成功演示了如何通过 Hugging Face 的 Transformers 调用 Llama 模型，并获取了模型的回答。但是如果你的需求只是简单地调用模型，而无需进行微调或复杂的部署，可以尝试使用 Ollama。它不仅操作更加便捷，还提供了开箱即用的 RESTful 接口，适合快速集成到生产环境中。下一篇，我将会讲解如何通过 Ollama 下载部署 Llama 模型并调用。
DeepSeek本地部署（保姆级）教程
小赵同学€的博客
02-06 7634
安装后在电脑开始页面启动 ollama，然后查看任务栏，有 ollama 图标意味着 ollama已经启动。此模型还可接入可视化页面，如有需要教程，可在评论区提出，小赵同学尽量满足各位的需求！当出现 success 时即表示部署成功！您可在本地进行信息检索和提问！打开下拉栏，选择自己电脑内存对应的版本，确保C盘有足够的内存空间。下载完毕后，双击下载文件进行安装，直到安装完成！我们回到 ollama 官网，在搜索栏搜索。当你下次需要使用时，只需要在CMD窗口运行。
保姆级教程！6个步骤讲清楚用DeepSeek搭建本地知识库
m0_59235699的博客
02-05 3万+
本地部署的最大意义在于利用DeepSeek大模型的能力加上自己的知识库，可以训练出一个符合自己需求的大模型。想象下如果你是一个医生，有一堆科研资料。你想拥有一个大模型机器人，学习了你所有的资料。每当你想查科研资料找到答案的时候，自己问这个机器人就好了。省去了自己很多查找资料的时间这就是本地部署+知识库的作用。是DeepSeek官网不具备的。因为这是训练的你的私有资料。今天就来分享下这个搭建过程。用到的工具组合是Docker+Dify+DeepSeek。
三分钟！教会你用DeepSeek搭建个人知识库
yizhen91y的博客
02-06 2834
三分钟！教会你用DeepSeek搭建个人知识库
开源模型应用落地-qwen模型小试-调用Qwen2-VL-7B-Instruct-更清晰地看世界-Lora-V100（四）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
09-26 2万+
使用LLaMA-Factory高效微调qwen2-vl-7b-instruct
llama-factory微调qwen2.5-vl
最新发布
qq_44908396的博客
04-08 1522
使用llama-factory完成qwen2.5-vl微调
【Qwen2微调实战】LLaMA-Factory框架对Qwen2-7B模型的微调实践
寻道AI，探索AI无限可能！
07-29 2万+
在人工智能的浪潮中，大型语言模型（LLMs）正逐渐成为研究和应用的热点。它们在自然语言处理（NLP）的各个领域，如文本生成、翻译、问答等任务中展现出了卓越的能力。Qwen2-7B模型，作为该领域的佼佼者，不仅因其庞大的参数量和强大的表示能力受到关注，更因其在微调后能够更好地适应特定任务而备受关注。本文将详细介绍如何利用LLaMA-Factory这一高效的微调框架对Qwen2-7B进行微调，以期达到提升模型在特定任务上的表现。
LangChain实战
2401_85325726的博客
07-25 1472
了解了LangChain的链式魅力，实战各种链， 并使用SequntialChain把链再链起来，完成更复杂效果。
Langchain实战
GodGump的博客
05-08 1199
LangChain是一个基于大语言模型（如ChatGPT）的Python框架，专为构建端到端语言模型应用而设计。它提供了一套全面的工具、组件和接口，旨在简化与大型语言模型（LLM）和聊天模型的交互过程，从而轻松创建出功能强大的应用程序。LangChain不仅方便管理语言模型的交互，还能将多个组件灵活链接，满足各种应用场景的需求。使用LangChain，您可以更加高效地构建出具有创新性和实用性的语言模型应用。（这个就是langchain配合文心生成的介绍）
DeepSeek本地部署教程(保姆级教程)
XXXXsssxwd的博客
01-30 1万+
【代码】DeepSeek本地部署教程(保姆级教程)
手把手带你搞懂Deepseek-V3 低成本知识库，收藏这一篇就够了！！
2401_85325397的博客
01-20 1万+
1 可以通过 api 添加各种模型 2 上传文档就能本地新建知识库 3 各种 AI 工具直接打开 4 知识库配合 deepseek 3 ，加上 COT 提示词 效果不错 5 还能画图 6 有简单 Artifacts 功能，直接渲染代码 7 可以多个模型一起回答问题，就是样式是直接铺下来的。
LangChain实战（国内大模型）| Chains的四个核心模块实测——LLMChain、SimpleSequentialChain、SequentialChain和LLMRouteChain
sinat_29950703的博客
05-24 3297
作为 LangChain 的核心模块之一，的重要性不言而喻。它相当于是所有复杂逻辑的基础，。Chain 的设计非常巧妙，可以说是大模型应用的最佳实践之一。Chain 的设计非常巧妙，也非常值得借鉴，也是为什么 LangChain 能火爆的主要原因之一。Chain的主要功能是根据需要将各种能力进行拼接和整合。
Langchain实战：基于Chain实现Prompt的高级应用
简简单单的学习笔记，致力于帮助更多前进路上的朋友~
04-26 3459
本文通过一个实战项目，介绍了Langchain中常用的API和方法，包括Chain、Prompt、StructuredOutput、asyncio等，解决实际生产中的问题。
DeepSeek本地部署，保姆级教程，带你打造最强AI
热门推荐
运维&陈同学的博客
01-28 22万+
配置后，Ollama 服务将能在当前网络（如家庭 Wifi）中提供服务。你可以使用其他设备上的 Chatbox 客户端连接到此服务。可能需要在防火墙中允许 Ollama 服务的端口（默认为 11434），具体取决于你的操作系统和网络环境。为避免安全风险，请不要将 Ollama 服务暴露在公共网络中。家庭 Wifi 网络是一个相对安全的环境。Ollama 服务的 IP 地址是你电脑在当前网络中的地址，通常形式如下。
GPT-3问答机器人实战【LangChain】
张伟的专栏
05-03 2235
ChatGPT 几个月前问世，并以其回答来自广泛知识集的问题的能力震惊了所有人。在 ChatGPT 展示大型语言模型的强大功能时，Dagster 核心团队遇到了一个问题。推荐：用 NSDT场景设计器 快速搭建3D场景。
llama-factory 微调 qwen2.5-vl
03-29
### 使用 LLaMA-Factory 对 Qwen2.5-VL 进行微调 为了实现对 Qwen2.5-VL 的微调操作，可以参考 LLaMA-Factory 提供的相关功能以及其配置文件中的参数设置[^1]。以下是具体方法： #### 配置数据参数 在 `data_args.py` 文件中定义的数据参数部分，需调整以适配 Qwen2.5-VL 数据输入需求。例如，在指定路径时应考虑视觉语言模型特有的多模态数据结构。 ```python from dataclasses import dataclass, field @dataclass class DataArguments: dataset_name: str = field(default="my_custom_dataset", metadata={"help": "The name of the dataset to use."}) max_seq_length: int = field(default=512, metadata={"help": "Maximum sequence length."}) image_size: int = field(default=224, metadata={"help": "Image size for vision tasks."}) # 新增图像尺寸支持 ``` 上述代码片段展示了如何扩展默认参数来适应视觉任务的需求，特别是针对图像大小的设定。 #### 修改训练脚本 对于实际执行微调过程，则需要修改主训练脚本来加载预训练权重并初始化优化器等相关组件。这里假设已下载好对应版本的 Qwen 权重文件。 ```bash #!/bin/bash export MODEL_NAME_OR_PATH=qwen/Qwen2.5-VL export OUTPUT_DIR=./output_qwen_vl_finetune torchrun --nproc_per_node 4 run_clm.py \ --model_name_or_path $MODEL_NAME_OR_PATH \ --train_file ./path_to_your_training_data.json \ --validation_split_percentage 5 \ --per_device_train_batch_size 8 \ --gradient_accumulation_steps 4 \ --learning_rate 5e-5 \ --weight_decay 0.01 \ --num_train_epochs 3 \ --save_strategy epoch \ --logging_dir ./logs/qwen_vl_log \ --output_dir $OUTPUT_DIR ``` 此脚本设置了分布式运行环境，并指定了必要的超参调节选项以便更好地完成目标任务。 #### 注意事项 当处理像 Qwen2.5-VL 这样的大型多模态模型时，请务必注意硬件资源分配情况；如果显存不足可适当降低 batch size 或启用 gradient checkpointing 技术减少内存消耗。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值