LLaMA Factory大模型多模态目标检测数据集制作与微调

最新推荐文章于 2025-11-25 00:04:22 发布
原创 最新推荐文章于 2025-11-25 00:04:22 发布 · 306 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#算法 #人工智能

LLaMA Factory大模型多模态目标检测数据集制作与微调

1、图片数据收集与处理

数据来源：本项目的数据从魔搭社区数据集（原始数据约4万张）、飞桨数据集（原始数据约3万张）和 kaggle（原始数据约5万张）中获取，人工进行整理分类，包含愤怒、愤怒、平静、快乐、恐惧、悲伤、 惊讶、愤怒7种情绪，最后整理出约2.2万张人脸表情图片。

在这里插入图片描述
图片分类，总共有7个分类在这里插入图片描述
2、图片转LLaMA Factory格式的json文件（我这里是在ubuntu系统转换，跟win系统一样，只是路径不一样）在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
3、转换完成，大模型数据集格式如图。
注：LLaMA Factory训练的时候图片也要用到，路径一定要对
在这里插入图片描述
配置LLaMA Factory数据集
打开dataset_info.json
在这里插入图片描述
增加Basic-twenty.json
在这里插入图片描述
训练
注：大模型路径要对，数据集路径也要对在这里插入图片描述
训练过程在这里插入图片描述

ssliq
关注
LLaMA-Factory微调多模态大语言模型教程
weixin_45783724的博客
05-30 9183
手把手教你微调多模态大模型
【学习笔记2】一站式大模型微调框架LLaMA-Factory—训练数据
Jeremy_lf的博客
04-27 1726
通过系统提示词，您可以为AI设定一个特定的角色（如“你是一位客服助手”）、任务目标（如“用简短的语言回答”）或对话风格（如“保持友好且专业的语气”）。
LLaMA Factory多模态微调实践：微调Qwen2-VL构建文旅大模型
机器学习是魔鬼的博客
04-18 2271
LLaMA Factory 是一款开源低代码大模型微调框架，集成了业界最广泛使用的微调技术，支持通过 Web UI 界面零代码微调大模型，目前已经成为开源社区内最受欢迎的微调框架之一，GitHub 星标超过 4.7 万。本教程将基于通义千问团队开源的新一代多模态大模型 Qwen2-VL-2B-Instruct，介绍如何使用 矩池云 平台及 LLaMA Factory 训练框架完成文旅领域大模型的构建。
LLaMA-Factory：一站式大模型训练框架，支持多模态微调与实战指南！
2401_84494441的博客
10-11 1233
本文介绍LLaMA-Factory大模型训练框架，该框架整合主流高效训练微调技术，适配多种开源模型，提供多阶段训练、推理测试等功能。文章详细展示了Qwen分类模型和qwen2vl多模态模型的训练流程，系统介绍指令微调、预训练、偏好学习等数据集格式，并通过Web界面简化操作，适合各层次开发者使用。
Llama-Factory微调Qwen2.5-VL从数据集制作到部署记录
小俊俊的博客
09-08 1371
huggingface由于是外网，下载困难，建议去魔塔社区下载，下载后置于LLama-factory根目录下，新建models文件夹。既然qwen本身具有较好的图像描述能力，那我们可以先使用qwen进行图像描述，在此基础上进行复核修改，这样做可以减少人力成本。因为我是一边测试一边记录，为了安全起见，建议使用anaconda建立LLama-Factory虚拟环境。生成的权重文件在LLama-Factory根目录下的Saves文件夹下。这是最原始的从零开始制作数据集的方法，不建议这样做！内存占用大概22G.
【大模型微调】LLaMA Factory 微调 LLMs & VLMs
黎国溥
10-19 1376
LLaMAFactory是一个大模型高效微调平台，提供一站式可视化操作界面，支持多种模型（如LLaMA、Qwen、Gemma等）和微调方法（预训练、指令监督微调等）。平台支持多种精度和先进算法，并集成实验监控工具。安装简单，可通过Conda环境快速部署。用户可自定义数据集进行微调，适用于多轮对话、图像理解等任务。平台还提供丰富的入门教程和文档，适合不同水平的开发者使用。
LLaMA Factory 多模态微调实践：微调 Qwen2-VL 构建文旅大模型
xxue345678的博客
06-04 1116
本教程将基于通义千问团队开源的新一代多模态大模型 Qwen2-VL-2B-Instruct，介绍如何使用 PAI 平台及 LLaMA Factory 训练框架完成文旅领域大模型的构建。
LLaMA-Factory微调gemma3多模态数据集构建
m0_51780928的博客
05-16 1131
将数据集tsv文件转变成gemma3模型所适用的格式，tsv文件包含ID、Title、Content、Image Paths列，其中Image Paths列包含图片的名称，还有一个图片存储的文件夹。首先遍历一个本地文件夹中的所有图片，对它们按需进行等比例缩放、可选高斯模糊处理，并以指定质量保存到另一个目录，同时保持原有的子目录结构。将自己数据集的json文件添加到data文件夹下，同时在dataset_info.json中添加数据集的信息。将数据集中使用的图片全部存放在gemma3_demo_data。
大模型系列：LLaMA-Factory大模型微调
2301_81888214的博客
08-13 742
开源大模型如LLaMA，Qwen，Baichuan等主要都是使用通用数据进行训练而来，其对于不同下游的使用场景和垂直领域的效果有待进一步提升，衍生出了微调训练相关的需求，包含预训练（pt），指令微调（sft），基于人工反馈的对齐(rlhf)等，以提高其在特定领域的性能。
使用 LLaMA-Factory 微调多模态大语言模型的示例代码演示
08-23
MLLM-Finetuning-Demo 安装 LLaMA-Factory 进行预训练，涉及 LLaVA 中的特征对齐，采用冻结部分参数、只微调部分参数的方式。完成微调后，可实现网页聊天功能。 将数据集上传到 Huggingface 时，请在相应位置替换您...
精选资源
大模型微调与优化：LLaMA Factory框架及其最佳实践
03-27
此外，LLaMA Factory集成了多模态理解和推理能力，能够处理图像、视频和音频等多种数据形式。文中还提到了一些具体的优化成果，比如通过vLLM加速器将Llama 3 8B模型的最大输入长度从4k提升到32k，以及对DeepSeek R1...
使用LLaMA-Factory微调多模态大语言模型的示例代码 Demo of Finetuning Multimodal LLM with LLaMA-Factory
08-23
在本示例代码中，我们将了解到如何使用LLaMA-Factory进行多模态大语言模型的微调。 首先，多模态大语言模型是指能够处理和理解多种类型输入的模型，这些输入包括文本、图像、声音等多种形式。这种模型的一个显著...
向量搜索技术深度研究报告：架构原理、核心算法与企业级应用范式
north_eagle的专栏
11-24 1535
信息检索技术的演进历程，本质上是人类试图让机器理解语言深层含义的漫长探索。从早期的布尔逻辑检索、倒排索引（Inverted Index）到如今的向量搜索（Vector Search），这一领域的每一次飞跃都重塑了数据交互的边界。当前，随着大语言模型（LLM）的爆发式增长和检索增强生成（RAG）架构的普及，向量搜索技术已从学术界的边缘课题跃升为企业级AI基础设施的核心组件。
【软考】算法
weixin_49929829的博客
11-23 221
分治、动态规划、贪心、回溯算法基本思想
【剑斩OFFER】算法的暴力美学——只出现一次的数字 ||
就业知识博客
11-24 420
力扣137题：只出现一次的数字 ||
第二次测试题解
2402_89056915的博客
11-23 849
第 3 刀：要最大化分区，第 3 个平面必须与前 2 个平面都相交（得到 2 条不重合的交线，且这 2 条交线在第 3 个平面上相交）—— 相当于在第 3 个平面上，用 2 条相交直线分成了 4 块，因此新增 4 个区域 →。前 3k+2 项的和：3k 项和 + a₃ₖ₊₁ + a₃ₖ₊₂ ≡ 0 + p + q ≡ (p+q) mod 2（a₁+a₂ 的奇偶性）余数 r=2（n=3k+2）→ Sₙ ≡ 1+1=2≡0 → 0（偶）→ 代码逻辑：if n%3==1 → 1，else → 0。
优选算法-队列+宽搜（BFS）：73.在每个树行中找最大值
最新发布
要努力去发光，而不是被照亮~
11-25 234
优选算法-队列+宽搜（BFS）：73.在每个树行中找最大值解析
优选算法-字符串：64.字符串相乘
要努力去发光，而不是被照亮~
11-24 154
优选算法-字符串：64.字符串相乘解析
llama-factory部署微调多模态大语言模型
03-27
<think>嗯，用户想了解如何部署和微调Llama-Factory支持的多模态大语言模型。首先，我需要回忆一下Llama-Factory的相关信息。根据引用[1]，Llama-Factory是一个由北航开源的低代码大模型训练框架，专注于微调大型语言模型。引用[2]提到在部署多模型时，需要选择合适的基础模型，比如Llama-3、Qwen等。那多模态的话，可能需要支持图像、文本等多模态输入的模型。 首先，部署部分。用户可能需要先安装必要的依赖，比如Python环境、PyTorch、CUDA等。然后克隆仓库，安装依赖库，可能需要多模态相关的库，比如transformers、torchvision等。接着，模型准备，下载多模态基础模型，比如Qwen-VL或者LLaVA，并将它们放在指定目录下。然后配置环境变量，可能需要设置模型路径和数据路径。 然后是微调部分。多模态微调需要特定的数据集，比如包含图像和文本对的数据。数据预处理可能需要转换成框架支持的格式，比如JSON，包含图像路径和文本描述。接着选择微调方法，比如LoRA，这样可以在低资源下高效训练。配置训练参数，学习率、批次大小、epoch数等。启动训练脚本，可能需要指定配置文件。最后是模型测试，加载微调后的模型进行推理，验证多模态能力。 用户可能还会遇到问题，比如环境配置错误、显存不足、数据格式不对。需要建议他们检查CUDA版本、减少批次大小，或者调整LoRA的秩参数。另外，多模态模型通常需要更多显存，可能需要使用4-bit量化或者梯度检查点技术。 相关问题部分，应该涵盖部署准备、多模态模型选择、数据处理、参数优化、评估方法以及应用场景。这样用户能全面了解流程中的各个步骤和可能的问题。</think>以下是根据LLaMA-Factory官方文档整理的部署和微调多模态大语言模型指南： ### 一、环境部署 1. **基础环境准备** - 安装Python 3.8+和CUDA 11.7+ - 克隆仓库：`git clone https://github.com/hiyouga/LLaMA-Factory.git` - 安装依赖：`pip install -r requirements.txt` - 多模态扩展：安装`torchvision`和`transformers`的多模态支持组件[^1] 2. **多模态模型下载** - 支持的模型：Qwen-VL、LLaVA、MiniGPT-4等 - 示例下载命令： ```bash huggingface-cli download qwen/Qwen-VL-Chat --local-dir models/qwen_vl ``` ### 二、微调流程 1. **数据准备** - 格式要求：JSON文件包含`image`(图片路径)和`conversations`字段 - 示例结构： ```json { "id": "multi_modal_sample", "image": "data/images/cat.jpg", "conversations": [ {"from": "human", "value": "描述这张图片"}, {"from": "gpt", "value": "一只橘猫在窗台上晒太阳"} ] } ``` 2. **启动微调** ```bash python src/train_bash.py \ --model_name_or_path models/qwen_vl \ --dataset multimodal_dataset \ --stage sft \ --template qwen \ --lora_target c_attn \ --per_device_train_batch_size 2 \ --gradient_accumulation_steps 4 \ --lr 2e-5 \ --num_train_epochs 3 \ --fp16 ``` ### 三、关键技术点 1. **多模态适配器** - 使用线性投影层将图像特征映射到文本嵌入空间 - 公式实现：$$ h_{\text{visual}} = W_p \cdot \text{CNN}(I) $$ 其中$W_p$为可训练投影矩阵，$I$为输入图像 2. **混合训练策略** - 第一阶段冻结视觉编码器，只训练文本解码器 - 第二阶段联合微调视觉-语言连接层 ### 四、常见问题解决 | 问题现象 | 解决方案 | |---------|----------| | OOM显存不足 | 启用4-bit量化：`--quantization_bit 4` | | 图像加载失败 | 检查路径权限，确认PIL库版本 | | 多模态对齐不良 | 增加投影层维度：`--visual_encoder_hidden_dim 1024` |
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值