ModelScope/SWIFT 多模态 GRPO 训练最佳实践指南

ModelScope/SWIFT 多模态 GRPO 训练最佳实践指南

swift 魔搭大模型训练推理工具箱，支持LLaMA、千问、ChatGLM、BaiChuan等多种模型及LoRA等多种训练方式(The LLM training/inference framework of ModelScope community, Support various models like LLaMA, Qwen, Baichuan, ChatGLM and others, and training methods like LoRA, ResTuning, NEFTune, etc.) 项目地址: https://gitcode.com/gh_mirrors/swift1/swift

引言

在人工智能领域，多模态模型训练正变得越来越重要。本文将详细介绍如何在 ModelScope/SWIFT 框架中使用 GRPO（Generalized Reinforcement Policy Optimization）算法进行多模态模型的训练。GRPO 是一种高效的强化学习算法，特别适合处理视觉-语言多模态任务。

环境准备

在进行多模态训练前，需要确保环境满足以下要求：

1. 硬件：推荐使用至少 8 张 GPU（如 A100 80GB）
2. 软件：安装最新版本的 SWIFT 框架
3. 依赖库：确保已安装 vLLM 等必要的推理加速库

基础概念

GRPO 算法简介

GRPO 是 PPO（Proximal Policy Optimization）算法的一种改进版本，主要特点包括：

• 更稳定的策略更新机制
• 更好的样本效率
• 适用于多任务联合训练

多模态任务特点

多模态任务通常涉及：

• 视觉输入（图像、视频）
• 文本输入/输出
• 复杂的跨模态推理

实战案例一：ClevrCount 任务

任务概述

ClevrCount 是一个基础的视觉计数任务，模型需要根据输入图像回答图像中包含的对象数量。

数据集准备

class ClevrPreprocessor(ResponsePreprocessor):
    def preprocess(self, row: Dict[str, Any]) -> Dict[str, Any]:
        query = row.get('query', '')
        query = f"""{query} Output the thinking process in <think> </think> and
 final answer (number) in <answer> </answer> tags."""
        row.update({'query': query})
        return super().preprocess(row)

数据格式说明：

• images: 图像路径列表
• messages: 对话格式的输入
• solution: 正确答案（用于奖励计算）

奖励函数设计

class MultiModalAccuracyORM(ORM):
    def __call__(self, completions, solution, **kwargs) -> List[float]:
        rewards = []
        for content, sol in zip(completions, solution):
            reward = 0.0
            # 符号验证逻辑
            try:
                answer = parse(content)
                if float(verify(answer, parse(sol))) > 0:
                    reward = 1.0
            except Exception:
                pass
            
            # 字符串匹配逻辑
            if reward == 0.0:
                try:
                    sol_match = re.search(r'<answer>(.*?)</answer>', sol)
                    ground_truth = sol_match.group(1).strip() if sol_match else sol.strip()
                    
                    content_match = re.search(r'<answer>(.*?)</answer>', content)
                    student_answer = content_match.group(1).strip() if content_match else content.strip()
                    
                    if student_answer == ground_truth:
                        reward = 1.0
                except Exception:
                    pass
            rewards.append(reward)
        return rewards

训练配置

关键参数说明：

• 模型：Qwen2.5-VL-3B-Instruct
• 奖励函数：external_r1v_acc + format
• 学习率：1e-6
• 批量大小：8（per GPU）
• 生成长度：1024 tokens

训练结果分析

1. 准确率奖励从 0.4 提升至接近 1.0
2. 格式奖励稳定在 1.0
3. 输出长度稳定在 60-80 tokens

实战案例二：几何问答任务

任务特点

几何问答任务要求模型：

1. 理解几何图形
2. 进行数学推理
3. 输出精确答案

训练技巧

1. 使用 num_iteration=2 进行多次策略更新
2. 设置 max_grad_norm=0.5 防止梯度爆炸
3. 增加重复惩罚系数（1.1）

典型输出示例

<think>
根据图像，AB 是圆的切线，因此 OA ⊥ AB → ∠OAB = 90°
已知 ∠ABO = 32° → ∠BAO = 58°
根据圆周角定理，∠ADC = 1/2 × ∠BAO = 29°
</think>
<answer>29</answer>

实战案例三：Open R1 多模态数据集

数据集特点

1. 包含 8K 数学推理样本
2. 由 GPT4o 生成
3. 涵盖 Math360K 和 Geo170K 内容

内存优化技巧

设置 MAX_PIXELS=262144 可以有效减少显存使用，避免 OOM 错误。

常见问题解决

1. 模型崩溃：表现为奖励突然下降，可通过降低学习率、减小梯度范数限制解决
2. 显存不足：减少批量大小或降低图像分辨率
3. 训练不稳定：增加 warmup 比例，调整 beta 参数

训练监控建议

1. 使用 W&B 记录训练曲线
2. 定期保存检查点
3. 监控关键指标：
   • 各种奖励值
   • KL 散度
   • 梯度范数

总结

通过 ModelScope/SWIFT 的 GRPO 实现，我们可以高效地训练多模态模型。本文介绍了三种典型多模态任务的训练方法，涵盖了从简单计数到复杂数学推理的不同难度级别。关键成功因素包括：

1. 合理的奖励函数设计
2. 适当的训练参数配置
3. 有效的训练监控和问题诊断

希望本指南能帮助您顺利开展多模态模型的强化学习训练工作。

swift 魔搭大模型训练推理工具箱，支持LLaMA、千问、ChatGLM、BaiChuan等多种模型及LoRA等多种训练方式(The LLM training/inference framework of ModelScope community, Support various models like LLaMA, Qwen, Baichuan, ChatGLM and others, and training methods like LoRA, ResTuning, NEFTune, etc.) 项目地址: https://gitcode.com/gh_mirrors/swift1/swift