Mark Github上的一个项目，VLM-R1。GRPO为什么促使MLLM在部分垂域比SFT更好的表现

最新推荐文章于 2026-01-04 08:30:00 发布
原创 最新推荐文章于 2026-01-04 08:30:00 发布 · 1.5k 阅读 · 14 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#github #GRPO #SFT

项目地址：GitHub - om-ai-lab/VLM-R1: Solve Visual Understanding with Reinforced VLMs

最近做毕设，看到VLM-R1项目，一个有趣的现象：在Grounding任务中，GRPO训练的模型不仅展现出更稳定的训练曲线，其域外泛化能力更是远超传统SFT方法。这种差异在OCR等视觉-语言交叉任务中尤为显著。在追求大模型垂直领域落地的道路上，我们是否过度依赖了监督式微调？强化学习的引入究竟带来了什么改变？

我自己也试过用QwenVL2.5去做类似于文档Grounding的尝试，不得不说在训练的那些数据集/验证集上表现不错。换一个场景的文档立马露馅。如果文档识别和还原做不到泛化，那么我认为没什么意义。就像最近的olmOCR，说是效果很好，推理很快，在250000张图片SFT已经是可以的数字了。我尝试下来，中文泛化效果堪忧，至少我手里的数据效果很差(但你就说快不快吧)。

监督微调（SFT）学得有些过头。以OCR任务为例，当我们在特定数据集（如规范扫描文档）上进行微调时，模型会迅速掌握该场景下的文字、Box确切分布。但这种学习方式存在两个致命弱点：

数据分布的隐形镣铐：模型过于关注学习标注数据中的确定性映射，遇到其他目标或其他背景时，如同突然切换语言的翻译官，陷入迷茫。在目标定位任务这里尤其严重。

误差传递的恶性循环：在自回归生成过程中，单个字符识别错误会像多米诺骨牌般影响后续预测，这种现象在域外数据中呈倍放大。在我SFT的例子看来，歪一个坐标框，后面的多半跟着歪。

<
最低0.47元/天 解锁文章
朱韬韬
关注
基于开源大型lmm模型生成标签对InternVL2-1B等轻量lmm模型进行微调
a486259的博客
10-08 528
基于开源大型lmm模型生成标签对InternVL2-1B等轻量lmm模型进行微调，提升InternVL2-1B等轻量lmm模型的能力。本实验在window下，基于3060 12g显卡进行实验。基于qwen2-vl 7b模型生成标签（电脑显存大的话可以考虑qwen2-vl 72b模型），然后对InternVL2-1B进行Lora微调。以voc2012_val里面的3000多个图片为训练数据，耗时1小时完成。最后测试微调前后的模型，可以发现微调后的InternVL2-1B模型在特定任务上（目标与数量识别）的能力
人工智能-SFT（Supervised Fine-Tuning）、RLHF 和 GRPO
高效匠人
06-05 955
SFT（Supervised Fine-Tuning）、RLHF（Reinforcement Learning from Human Feedback） 和 群体相对策略优化 (GRPO，Group Relative Policy Optimization)是一种强化学习 (RL) 算法，
AI重大突破！开源项目让机器真正“看懂“世界
WL_ZHG的博客
02-20 455
它让计算机不仅能"看"图片，还能像人类一样"理解"图片里的故事。（项目地址在文末，先看干货）现在该项目已在GitHub开源（https://github.com/om-ai-lab/VLM-R1），配套教程和论文解读都在路上。1. 真·理解图片：传统AI像背答案的好学生，而VLM-R1培养的是会举一反三的学霸。举个真实例子：在医疗影像测试中，识别罕见疾病的准确率比现有模型高27%，相当于从普通医生升级到专家会诊的水平！思考：当AI不仅能识别图片里的猫，还能看出猫在生气还是卖萌，这会催生哪些新应用？
等到了！VLM-R1完整细节首度公开：RL的一小步，视觉语言模型推理的一大步
Paper weekly
04-25 1119
首次完整揭秘了 VLM-R1 如何用强化学习颠覆视觉语言模型——从 Reward Hacking 的破解妙招，到让模型突然开窍的 OD Aha Moment，再到 7B→32B 参数下的 Scaling Law 验证…更重要的是，整体框架完全开源！此外，研究还发现，高质量、语义丰富的训练数据能够显著提升模型的推理能力，而低质量或过于简单的数据则可能限制模型的泛化能力。在 OVD 任务中，使用官方的 AP 值作为奖励函数时，模型倾向于预测所有可能的类别以追求更高的奖励分数，导致冗余输出的问题。
GRPO vs SFT：强化学习提升大模型多模态推理泛化能力的原因研究
weixin_43520816的博客
04-28 1402
作者：吴宇斌原文地址：https://zhuanlan.zhihu.com/p/1892362859628963761。
【GitHub开源项目实战】VLM-R1：强化学习驱动的多模态视觉推理模型实战解析
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
05-14 2570
VLM-R1 是由 Om AI Lab 发布的开源视觉大模型，融合了 DeepSeek-R1 架构与 GRPO 强化学习算法，实现了具备自然语言理解能力的自主视觉推理路径探索。在多模态场景下，该模型可高效完成如复杂障碍物识别、商品比较分析、图文联合问答等任务，具备极强的泛化能力和跨任务适配性。项目发布 24 小时内即获得 2800+ GitHub Star，引发社区热议。本文将围绕其核心技术实现、多模态输入处理、推理路径结构与工程部署能力展开深入分析，并结合实际代码结构，剖析其在视觉大模型方向上的前沿突破与
【小白教程】本地部署VLM-R1模型（使用Docker）
m0_69855053的博客
04-21 2651
通过Docker本地部署VLM-R1大模型，详细教程。
结合DeepSeek-R1强化学习方法的视觉模型！VLM-R1：输入描述就能精确定位图像目标
士多啤梨先生の博客
02-25 2286
VLM-R1 是基于强化学习技术的视觉语言模型，通过自然语言指令精确定位图像目标，支持复杂场景推理与高效训练。
Vad-R1：通过从感知到认知的思维链进行视频异常推理
lemonzjk的博客
05-30 1733
针对传统视频异常检测仅能判断“有无”而缺乏因果推理的局限，提出视频异常推理（VAR）任务，并构建端到端框架 Vad-R1。框架引入感知-认知四阶段 Chain-of-Thought，引导模型由全局场景逐步聚焦至异常本质；同时发布 8 k+ 视频组成的 Vad-Reasoning 数据集，其中 1.8 k 样本含高质量推理链用于监督微调，其余 6 k+ 样本仅具弱标签。为利用弱标注强化推理可靠性，设计 Anomaly Verification Augmented-GRPO 算法，通过“剪视频-复判”自验证奖励
GUI-G1：理解R1-Zero-Like训练在GUI代理视觉定位中的应用
栖客
05-22 922
最近的图形用户界面（GUI）代理复制了R1-Zero范式，将在线强化学习（RL）与对象定位前的显式链式思维推理相结合，从而显著提高了性能。在本文中，我们首先对这一训练管道的三个关键组件进行了广泛的分析实验：输入设计、输出评估和策略更新——每个都揭示了盲目应用通用RL而不适应GUI定位任务所带来的不同挑战。输入设计：当前模板鼓励模型生成链式思维推理，但更长的链条意外地导致了更差的定位性能。输出评估：基于命中信号或框面积的奖励函数允许模型利用框大小，导致奖励欺骗和较差的定位质量。
重磅！DeepSeek R1方法成功迁移到视觉领域，多模态迎来新突破！
阿木寺的博客
02-24 1054
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【多模态】投稿交流群添加微信号：CVer2233，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！转载自：机器之心嘿，各位开发小伙伴，今天要给大家安利一个全新的开源项目 ——VLM-R1！它将 De...
【MLLM】GRPO在多模态LLM的应用
发现问题，并解决问题，批判性思维
02-23 2009
# note - VLM-R1: A stable and generalizable R1-style Large Vision-Language Model。域外数据集上性能比SFT要好 - Open-R1-Video视频理解模型：为视频理解任务引入R1范式，开源训练代码和数据，用视频、查询和答案，使用GRPO训练，提升模型推理能力 @[toc] # 一、VLM-R1: A stable and generalizable R1-style Large Vision-Language Model
使用GRPO微调多模态VLM模型（Qwen 2.5 VL）
apd_csdn的博客
03-28 7333
使用jupyter notebook载入、推理和LoRA强化微调一个Qwen 2.5模型* 使用GRPO强化微调，奖励函数等设定* 私有数据集上需要做微调适配，除了SFT，强化微调提供了其他可行方案。* 很多情况下数据集的图文对包含答案简短，推理信息需要模型自行补全。然而，一般的SFT训练决定了模型输出必须是数据集中简短的答案形式。GRPO训练有助于激发模型的推理潜能。
解锁视觉空间智能强大潜力！视觉空间智能多模态模型Spatial-MLLM~
CV_Autobot的博客
06-05 435
这种设计既保留了语义信息的完整性，又通过视觉几何模型弥补了空间结构感知的短板，使模型能够在无深度图或点云等额外3D数据的前提下，实现良好的空间感知与推理能力。实验结果显示Spatial-MLLM在仅输入视频数据（不需要额外3D信息）的情况下，大幅领先于其他视频输入的模型，甚至接近或超过了需要3D信息输入的专用模型的性能。，从有限的视频帧中提取最具空间价值的信息。用简单的MLP结构，将语义编码器和空间编码器分别提取出的特征进行融合，得到统一的视觉特征表示，从而为大语言模型（LLM）提供综合的空间和语义信息。
南洋理工联合字节提出R1-ShareVL！Share-GRPO激发MLLM推理能力！Qwen2.5-VL-32B提升显著！
m0_59164520的博客
05-31 1044
强化学习（RL）在大语言模型（LLMs）中的近期成功，如Kimi-K1.5和DeepSeek-R1，显示了其在激发模型长链推理能力方面的潜力，使大语言模型能够处理复杂任务，如数学和科学推理。这些进展的核心设计（例如，Deepseek-R1中的广义近端策略优化（GRPO））在于无需奖励模型的在线强化学习，它鼓励大语言模型生成一组推理路径，并通过基于规则的奖励函数的组相对优势估计机制迭代改进其推理过程。通常，采用一种简单的奖励策略：导致正确答案的推理路径获得更高的奖励，而导致错误答案的推理路径获得较低的奖励，其
强化学习GRPO算法解读：大模型与小模型的不同选择
Androiddddd的博客
02-10 2565
GRPO 算法在 DeepSeek-R1 中的成功应用，为强化学习和大模型的发展开辟了新的路径。未来，强化学习在大模型领域有望取得更多令人瞩目的进展。一方面，在算法优化上，研究人员可能会进一步探索 GRPO 算法的变体或与其他更先进的技术，以进一步提升模型的推理能力，或结合多模态技术提升对真实世界的理解能力。同时，基础技术的发展与开源生态的完善，会吸引更多研究者加入，开拓更多创新研究和应用。最后， DeepSeek-R1对此点评（由DeepSeek-R1生成，博大家一笑）：“今有奇巧法，名曰众相较。
累计下载 3000+！我的自制实用工具合集现已同步至 GitHub
最新发布
字节幺零二四的博客
01-04 354
主打本地运行、隐私安全、开箱即用的实用工具合集现已同步至GitHub。更新更频、下载更稳，诚邀体验，欢迎 Star 与关注支持。
HTTPS真的安全吗？—— 使用 mitmproxy 中间人攻击破解 GitHub 登录会话
Bruce_xiaowei的博客
01-02 420
本文演示了使用mitmproxy对HTTPS加密通信进行中间人攻击的实验过程。通过搭建Mac主机与Win11虚拟机的网络环境，配置mitmproxy监听9090端口并安装CA证书，成功捕获GitHub登录过程中的明文密码。实验详细说明了代理设置、证书安装和流量捕获步骤，验证了在未正确验证证书的情况下，HTTPS传输的敏感信息仍可能被窃取。结果表明，仅依赖HTTPS不能完全保证通信安全，必须配合严格的证书验证机制。文章还提供了常见问题排查方法和实验命令参考。
2026年01月02日最热门的开源项目(Github)
我只是一个攻城狮
01-03 585
本期榜单分析15个开源项目，涵盖Python、Go、Rust等多种语言，聚焦AI、实时数据处理和开发工具领域。趋势显示：流处理项目（如pathway和llm-app）需求旺盛；自托管方案（如memos）受隐私关注推动；LLM应用（如skills）和云基础设施（如daytona）持续升温。项目热度差异明显，pathway以55137星居首，而docker-android仅1550星。未来，高效数据处理、AI应用及隐私安全方案将更具潜力。数据来源：hot.me88.top。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值