如何从零训练多模态大模型（预训练方向）零基础入门到精通，收藏这一篇就够了

关注

原创最新推荐文章于 2026-08-13 10:46:48 发布 1.5k 阅读 AI 写同款· GEO 优化 ›

多模态预训练模型学习一、什么是预训练？目前随着数据量爆炸式的增长，靠人工去标注更多数据是非常昂贵，并且也不太现实的。因此预训练的方式就出现了，也逐渐成为了一种主流的方法。那到底什么是预训练呢？简单地说，预训练就是：“使用尽可能多的训练数据，从中提取出尽可能多的共性特征，从而能让模型对特定任务的学习负担变轻。” 预训练将学习分成了两步： 1）首先将大量低成本收集的训练数据放在一起，经过某种预训方法去学习其中的共性知识； 2）然后，再使用相关特定域的少量标注数据进行微调，模型就可以从共性知识出发，学习这些特定领域数据的阅读详情

本文参考官方教程[1]介绍如何训练 LLaVA v1.5 多模态模型。LLaVA 训练包括特征对齐阶段（feature alignment stage）和视觉指令微调阶段（visual instruction tuning stage），其中特征对齐阶段使用 LAION-CC-SBU 数据集的 558K 子集（记为 LLaVA-Pretrain），目的是训练 MLP connector（或称为 projector），而视觉指令微调阶段使用 GPT-4 生成的 150K 条多模态指令跟随数据和来自学术任务的 515K 条 VQA 数据引导 LLaVA 模型遵从多模态指令。

官方给出的 LLaVA v1.5 使用了 8 个 A100 GPU（80G）进行训练，如果我们没有 8 个 GPU 或者足够的显存（80G），可以减小per_device_train_batch_size的值并增大gradient_accumulation_steps，始终保证全局 batch size 不变，其中 batch size 的大小等于 per_device_train_batch_sizexgradient_accumulation_stepsxnum_gpus 。

下面以 LLaVA-v1.5-13B 为例介绍 LLaVA 模型的训练。

特征对齐阶段

准备数据

下载 LLaVA-Pretrain[2] 数据集

# 将数据下载到 ./playground/data/LLaVA-Pretrain，否则需要修改启动脚本的 data_path 参数   huggingface-cli download --repo-type dataset liuhaotian/LLaVA-Pretrain --local-dir ./playground/data/LLaVA-Pretrain

LLaVA-Pretrain 包含 3 个文件：

• blip_laion_cc_sbu_558k.json：此数据的构造过程是将 image-caption 数据添加随机选择的指令（例如：“Describe this image”）转换成多模态对话，下面是数据示例：

{       'id': '004539375',       'image': '00453/004539375.jpg',       'conversations': [         {           'from': 'human',           'value': 'Render a clear and concise summary of the photo.\n<image>'         },         {           'from': 'gpt',           'value': 'select luxury furniture 3 - inch gel memory foam mattress topper'         }       ]     },

• blip_laion_cc_sbu_558k_meta.json：包含 3 种元数据，分别是图像路径、图像 URL 和 blip_caption

{       'id': '004539375',       'image': '00453/004539375.jpg',       'blip_caption': 'select luxury furniture 3 - inch gel memory foam mattress topper',       'url': 'http://ec1.ostkcdn.com/images/products/8111140/P15459545.jpg'     }

• images.zip：LAION/CC/SBU 筛选后的子集

解压images.zip

# 解压到 ./playground/data/LLaVA-Pretrain/images，否则需要修改启动脚本的 image_folder 参数   unzip ./playground/data/LLaVA-Pretrain/images.zip -d ./playground/data/LLaVA-Pretrain/images

启动训练

在这个阶段，使用 8 个 A100（80G）训练 LLaVA-v1.5-13B 大约需要 5.5 小时。

启动的脚本是scripts/v1_5/pretrain.sh，它的内容如下：

#!/bin/bash   deepspeed llava/train/train_mem.py \       --deepspeed ./scripts/zero2.json \  # 使用 DeepSpeed ZeRO-2       --model_name_or_path lmsys/vicuna-13b-v1.5 \  # 语言模型是 lmsys/vicuna-13b-v1.5       --version plain \       --data_path ./playground/data/LLaVA-Pretrain/blip_laion_cc_sbu_558k.json \  # 训练样本文件       --image_folder ./playground/data/LLaVA-Pretrain/images \  # 存放图像的目录       --vision_tower openai/clip-vit-large-patch14-336 \  # 视觉编码器       --mm_projector_type mlp2x_gelu \  # projector 的类型       --tune_mm_mlp_adapter True \  # 是否训练 projector       --mm_vision_select_layer -2 \       --mm_use_im_start_end False \       --mm_use_im_patch_token False \       --bf16 True \       --output_dir ./checkpoints/llava-v1.5-13b-pretrain \  # 保存的路径       --num_train_epochs 1 \       --per_device_train_batch_size 32 \       --per_device_eval_batch_size 4 \       --gradient_accumulation_steps 1 \       --evaluation_strategy 'no' \       --save_strategy 'steps' \       --save_steps 24000 \       --save_total_limit 1 \       --learning_rate 1e-3 \       --weight_decay 0. \       --warmup_ratio 0.03 \       --lr_scheduler_type 'cosine' \       --logging_steps 1 \       --tf32 True \       --model_max_length 2048 \       --gradient_checkpointing True \       --dataloader_num_workers 4 \       --lazy_preprocess True \       --report_to wandb

启动脚本：

sh ./scripts/v1_5/pretrain.sh

启动训练后，会自动下载语言模型视觉编码器的权重，完成权重的下载后会提示是否需要使用 wandb 可视化结果，这里按需选择即可。

接下来就开始了训练，下面是 loss 的部分日志：

训练完成后，权重会保存在./checkpoints/llava-v1.5-13b-pretrain目录。

视觉指令微调阶段

完成特征对齐阶段的训练后，我们进入视觉指令微调阶段。注意：如果我们跳过特征对齐阶段的训练，则需要将对应的 projector 下载到./checkpoints目录，下载的命令如下：

huggingface-cli download liuhaotian/llava-v1.5-mlp2x-336px-pretrain-vicuna-13b-v1.5 --local-dir ./checkpoints/llava-v1.5-13b-pretrain

准备数据

下载数据集

• 下载 llava_v1_5_mix665k.json[3]

# 将数据下载到 ./playground/data/LLaVA-Instruct-150K   huggingface-cli download --repo-type dataset liuhaotian/LLaVA-Instruct-150K --local-dir ./playground/data/LLaVA-Instruct-150K   cp ./playground/data/LLaVA-Instruct-150K/llava_v1_5_mix665k.json ./playground/data/llava_v1_5_mix665k.json

下面是 llava_v1_5_mix665k.json 的示例：

{       'id': '000000033471',  // 样本的唯一 id       'image': 'coco/train2017/000000033471.jpg',  // 可以是绝对路径，也可以是相对于 image_folder 的路径       'conversations': [         {           'from': 'human',           'value': '<image>\nWhat are the colors of the bus in the image?'         },         {           'from': 'gpt',           'value': 'The bus in the image is white and red.'         },         {           'from': 'human',           'value': 'What feature can be seen on the back of the bus?'         },         {           'from': 'gpt',           'value': 'The back of the bus features an advertisement.'         },         {           'from': 'human',           'value': 'Is the bus driving down the street or pulled off to the side?'         },         {           'from': 'gpt',           'value': 'The bus is driving down the street, which is crowded with people and other vehicles.'         }       ]     },

• 下载 COCO train2017[4]

wget http://images.cocodataset.org/zips/train2017.zip -P ./playground/data/coco   unzip ./playground/data/coco/train2017.zip -d ./playground/data/coco

• 下载 GQA images[5]

wget https://downloads.cs.stanford.edu/nlp/data/gqa/images.zip -P ./playground/data/gqa   unzip ./playground/data/gqa/images.zip -d ./playground/data/gqa

• 下载 OCR-VQA[6] 将 OCR-VQA 中的 dataset.json 和 loadDataset.py 文件下载到 ./playground/data/ocr_vqa 目录。注释 loadDataset.py 中的 pdb.set_trace()后执行下面的命令：

cd ./playground/data/ocr_vqa   python loadDataset.py   # 回到 LLaVA 目录   cd ../../../

使用下面的代码处理 OCR-VQA 图像的后缀问题[7]：

import json   import os      with open('./playground/data/llava_v1_5_mix665k.json') as f:       samples = json.load(f)      for sample in samples:       if 'image' not in sample:           continue          img_path = os.path.join('./playground/data', sample['image'])       if not os.path.exists(img_path):           # 处理 OCR-VQA 图像后缀和 llava_v1_5_mix665k.json 中的后缀不一致问题           img_path_wo_ext = os.path.splitext(img_path)[0]           for ext in ['.png', '.gif']:               real_path = img_path_wo_ext + ext               if os.path.exists(real_path):                   # 重命名                   os.replace(real_path, img_path)                   break

也可以参考 https://github.com/haotian-liu/LLaVA/pull/1458 给出的路径下载 ORC-VQA 数据。

• 下载 TextVQA[8]

wget https://dl.fbaipublicfiles.com/textvqa/images/train_val_images.zip -P ./playground/data/textvqa   unzip ./playground/data/textvqa/train_val_images.zip -d ./playground/data/textvqa

• 下载 VisualGenome part1[9] 和 part2[10]

wget https://cs.stanford.edu/people/rak248/VG_100K_2/images.zip -P ./playground/data/vg   wget https://cs.stanford.edu/people/rak248/VG_100K_2/images2.zip -P ./playground/data/vg   unzip ./playground/data/vg/images.zip -d ./playground/data/vg   unzip ./playground/data/vg/images2.zip -d ./playground/data/vg

数据集结构

完成数据集的下载后，检查数据集的目录结构是否和下面的一致：

├── coco   │   ├── train2017   │   │   ├── xxx.jpg   ├── gqa   │   ├── images   │   │   ├── xxx.jpg   ├── llava_v1_5_mix665k.json   ├── ocr_vqa   │   ├── dataset.json   │   ├── images   │   │   ├── xxx.jpg   │   └── loadDataset.py   ├── textvqa   │   ├── train_images   │   │   ├── xxx.jpg   │── vg   ├── └── VG_100K   │   │   ├── xxx.jpg   ├── │── VG_100K_2   │   │   ├── xxx.jpg

使用下面的代码检查数据目录结构：

import json   import os      with open('./playground/data/llava_v1_5_mix665k.json') as f:       samples = json.load(f)      missing_cnt = 0  # 记录图像路径不存在的个数   for sample in samples:       if 'image' not in sample:           continue          img_path = os.path.join('./playground/data', sample['image'])       if not os.path.exists(img_path):           missing_cnt += 1      print(missing_cnt)

如果 missing_cnt 为 0，则说明数据的目录结构是正确的。

启动训练

在启动训练前，请查看 https://github.com/haotian-liu/LLaVA/issues/1144 以避免训练结束后权重保存出错。

在这个阶段，使用 8 个 A100（80G）训练 LLaVA-v1.5-13B 大约需要 20 小时。启动的脚本是scripts/v1_5/finetune.sh，它的内容如下：

#!/bin/bash      deepspeed llava/train/train_mem.py \       --deepspeed ./scripts/zero3.json \  # 使用 DeepSpeed ZeRO-3       --model_name_or_path lmsys/vicuna-13b-v1.5 \       --version v1 \       --data_path ./playground/data/llava_v1_5_mix665k.json \  # 训练样本       --image_folder ./playground/data \  # 存放图像的目录       --vision_tower openai/clip-vit-large-patch14-336 \       --pretrain_mm_mlp_adapter ./checkpoints/llava-v1.5-13b-pretrain/mm_projector.bin \       --mm_projector_type mlp2x_gelu \  # projector 的类型       --mm_vision_select_layer -2 \       --mm_use_im_start_end False \       --mm_use_im_patch_token False \       --image_aspect_ratio pad \       --group_by_modality_length True \       --bf16 True \       --output_dir ./checkpoints/llava-v1.5-13b \       --num_train_epochs 1 \       --per_device_train_batch_size 16 \       --per_device_eval_batch_size 4 \       --gradient_accumulation_steps 1 \       --evaluation_strategy 'no' \       --save_strategy 'steps' \       --save_steps 50000 \       --save_total_limit 1 \       --learning_rate 2e-5 \       --weight_decay 0. \       --warmup_ratio 0.03 \       --lr_scheduler_type 'cosine' \       --logging_steps 1 \       --tf32 True \       --model_max_length 2048 \       --gradient_checkpointing True \       --dataloader_num_workers 4 \       --lazy_preprocess True \       --report_to wandb

启动脚本：

sh ./scripts/v1_5/finetune.sh

启动训练后，会询问是否需要使用 wandb 可视化结果，这里按需选择即可。

接下来就开始了训练，下面是 loss 的部分日志：

训练完成后，权重会保存在./checkpoints/llava-v1.5-13b目录。注意：如果单卡显存不足 80G，可以使用 LoRA 微调脚本 finetune_lora.sh[11]。完成训练后，可以参考 LLaVA 评测[12]对模型的性能进行评测。

微调自定义数据集

参考 Finetune LLaVA on Custom Datasets[13]

将训练样本以列表的形式保存到 json 文件，其中每一个样本是一个字典，它至少包含三个字段：

• id：全局唯一的字符串
• image：图片的路径，可以是绝对路径，也可以是相对于image_folder的相对路径
• conversations：人类和语言模型的对话

下面是一个示例：

[     {       'id': '997bb945-628d-4724-b370-b84de974a19f',       'image': 'part-000001/997bb945-628d-4724-b370-b84de974a19f.jpg',       'conversations': [         {           'from': 'human',           'value': '<image>\nWrite a prompt for Stable Diffusion to generate this image.'         },         {           'from': 'gpt',           'value': 'a beautiful painting of chernobyl by nekro, pascal blanche, john harris, greg rutkowski, sin jong hun, moebius, simon stalenhag. in style of cg art. ray tracing. cel shading. hyper detailed. realistic. ue 5. maya. octane render. '         },       ]     },     ...   ]

完成数据的处理后，修改 finetune.sh[14] 中的 data_path 参数（必须）以及其他想要调整的参数（可选，例如学习率）。

修改完成后，即可启动训练：