DeepSeek R1迁移 Qwen2.5-VL成功！视觉模型也会思考！VLM-R1！

最新推荐文章于 2025-04-25 13:14:22 发布
最新推荐文章于 2025-04-25 13:14:22 发布
阅读量1.1k 收藏 22
点赞数 21
文章标签： LLM DeepSeek 人工智能 大模型 Qwen 大模型教程 AI大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/2401_85343303/article/details/145882412
版权

今天要给大家推荐项目是VLM-R1！它将DeepSeek的R1方法（基于GRPO强化学习技术）从纯文本领域成功迁移到视觉语言模型

VLM-R1的核心创新在于将DeepSeek的GRPO（Group Relative Policy Optimization）强化学习技术从文本领域迁移到视觉领域。简单来说，就是用文本领域“打游戏通关”的思路，训练视觉模型“看图解题”：

  • GRPO强化学习

    ：通过动态调整奖励函数，让模型从“死记硬背”转向“理解本质”。例如在蛋白质识别任务中，模型不仅能说出“面饼蛋白质高”，还能精准框选出鸡蛋饼的位置！

  • 稳定性碾压传统方法

    ：在复杂场景下，R1模型性能始终在线，而传统SFT模型越训练越“糊涂”（领域外数据表现暴跌）

2025年2月21日，已经发布了模型的检查点：快照

https://huggingface.co/omlab/Qwen2.5VL-3B-VLM-R1-REC-500steps

官方的Demo试了下，有些图片不支持，不造为啥。

还是很震撼的。

找了一张模特自拍，让他找手机。完美

找所有白鞋。OK

找“右脚的白鞋”错误。

找报纸 OK

背包也OK

Think的过程目前还是英文，但基本不影响结果。

LLM学会反思，下一步就要学会提问了

AI大模型学习福利

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

大模型&AI产品经理如何学习

求大家的点赞和收藏，我花2万买的大模型学习资料免费共享给你们，来看看有哪些东西。

1.学习路线图

在这里插入图片描述

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

2.视频教程

网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己整理的大模型视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。

在这里插入图片描述

在这里插入图片描述

（都打包成一块的了，不能一一展开，总共300多集）

因篇幅有限，仅展示部分资料，需要点击下方图片前往获取

3.技术文档和电子书

这里主要整理了大模型相关PDF书籍、行业报告、文档，有几百本，都是目前行业最新的。
在这里插入图片描述

4.LLM面试题和面经合集

这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。
在这里插入图片描述

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。
在这里插入图片描述

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

在这里插入图片描述

基于DeepSeek 的图生文最新算法 VLM-R1
jacke121的专栏
03-02 508
基于DeepSeek 的图生文最新算法 VLM-R1
重磅发现！DeepSeek R1方法成功迁移到视觉领域，多模态AI迎来新突破！
zhangjiaofa的专栏
02-20 201
VLM - R1项目最令人称赞的一点就是其完全开源。开源对于技术的发展具有不可估量的重要性。它促进了知识的共享和交流，使得全球的开发者和研究人员能够共同参与到技术的改进和创新中来。通过开源，能够汇聚众人的智慧和力量，加速技术的迭代和优化，推动整个行业的发展。
VLM-R1 项目使用教程
gitblog_00566的博客
03-28 541
VLM-R1 项目使用教程 VLM-R1 Solve Visual Understanding with Reinforced VLMs 项目地址: https://gitcode.com/gh_mirrors/vl/VLM-R1...
本地部署 Qwen2.5-VL 开源视觉大模型！
海阔凭鱼跃天高任鸟飞的博客
03-07 1247
Qwen2.5-VL 是 Qwen 推出的全新旗舰视觉语言模型，较其前身 Qwen2-VL 有了重大飞跃。该模型不仅能够掌握花、鸟、鱼和昆虫等常见物体的识别，还能分析图像中的复杂文本、图表、图标、图形和布局，为多模态 AI 树立了新标准。此外，Qwen2.5-VL 被设计为高度代理，并且能够进行动态推理和工具指导——无论是在计算机还是手机上使用。该模型的高级功能包括能够理解长度超过一小时的视频、精确定位其中的特定事件，并通过生成边界框或点来准确定位图像中的对象。
VLM-R1：一种稳定且可泛化的R1风格大型视觉语言模型
栖客
04-14 913
最近，DeepSeek R1 表明，通过简单而有效的设计，强化学习（RL）可以显著提高大型语言模型（LLMs）的推理能力。R1 的核心在于其基于规则的奖励公式，该公式利用具有确定性真实答案的任务来实现精确和稳定的奖励计算。在视觉领域，我们同样观察到，许多视觉理解任务本质上都配备了明确的真实注释。这一特性使它们自然与基于规则的奖励机制兼容。受此观察的启发，我们研究了将 R1 风格的强化学习扩展到视觉语言模型（VLMs），旨在增强其视觉推理能力。
VLM-r1：结合DeepSeek R1强化学习的多模态AI突破
weixin_56764022的博客
03-13 1165
VLM-R1（Vision-Language Model for Reasoning 1）结合了DeepSeek R1强化学习算法，推动多模态AI领域向前迈进。通过深度学习与强化学习的完美融合，VLM-R1不仅在视觉和语言处理上表现出色，还在跨模态推理和决策能力上展现出强大的潜力。
VLM-R1环境搭建&推理测试
zzq1989_的专栏
03-25 603
（2）泛化能力卓越，在领域外测试数据上，传统 SFT 模型性能随训练步数增加而下滑，R1 模型却能持续提升，表明 R1 方法让模型真正理解视觉内容而非简单记忆。这个项目的团队在 Qwen2.5-VL 的基础上，同时对比了 R1 和传统的 SFT 方法。（3）上手简单，VLM-R1 项目团队提供完整训练和评估流程，四步即可开始训练，对开发者友好。（1）稳定性强，R1 方法在复杂场景下也能保持高性能，对实际应用意义重大。前文也写了DeepSeek R1模型的安装测试，感兴趣的童鞋移步（
Qwen - VL + DeepSeek 打造自己的智能监控系统
04-07 1310
结合 Qwen-VL 和 DeepSeek-R1 构建智能监控系统，需围绕多模态分析、实时推理、边缘部署和隐私保护四大核心展开。
【AI论文】MedVLM-R1：通过强化学习激励视觉语言模型（VLMs）的医疗推理能力
m0_66899341的博客
03-01 1417
MedVLM-R1是一种能够生成明确推理过程的医学VLM，它采用GRPO框架进行训练，旨在提升医学影像分析的透明度和可信度。该模型不仅提供最终答案，还通过自然语言形式详细阐述其推理过程。
解析 Qwen 大模型家族和Qwen-VL系列
u012374012的专栏
03-24 1298
当每个人都在谈论 DeepSeek-R1 在模型推理方面的里程碑时，阿里巴巴的 Qwen 模型却一直被掩盖。尽管没有过多的喧嚣，Qwen 模型凭借其开源特性以及在代理功能方面的独特优势，正悄然崛起。从一开始，Qwen 模型的研发团队就致力于使其具备工具使用等代理能力，这种前瞻性思维使得 Qwen 模型在人工智能领域展现出了独特的潜力。本文将深入探讨 Qwen 模型的发展历程，以及其如何通过 Qwen-Agent 框架实现强大的推理能力，与 OpenAI 和 DeepSeek 等先进模型相媲美甚至超越。
多模态vlm综述：An Introduction to Vision-Language Modeling 论文解读
samoyan的博客,记录技术成长~
06-06 5764
论文：这里主要整理了多模态的技术发展历程，没有一些实验对比的数据。VLM家族：1）对比训练是一种广泛应用的策略，它采用正面例子和负面例子的配对方式。视觉语言模型（VLM）通过这种方式被训练，以针对正面配对预测出相似的表示，同时对于负面配对则预测出不同的表示。2）掩码技术是另一种训练VLM的策略，它通过重构给定的未掩码文本字幕中缺失的部分来实现。类似地，通过在字幕中掩码词语，也可以训练VLM来重构给定未掩码图像中的这些词语。
探秘新纪元：EasyR1 开启多模态深度强化学习革命的奇幻之旅
步子哥的博客
03-09 303
训练完成后，最佳实践之一便是将多个训练过程中的检查点合并成一个 Hugging Face 格式的模型。这个过程大大方便了模型后续的迁移和发布。在人工智能这片充满无限可能的荒野上，EasyR1 就像一位引领者，开启了一段关于多模态强化学习的奇幻旅程。从理论到实践，从单一模型到跨模态协作，每一步都凝聚了开发者的智慧和努力。它既是科研探索的利器，也是推动工业应用的实践平台。借助它，我们不仅能够更高效地解决复杂问题，还能不断拓宽认知边界，探索智能世界中的每一个角落。
等到了！VLM-R1完整细节首度公开：RL的一小步，视觉语言模型推理的一大步
最新发布
Paper weekly
04-25 885
首次完整揭秘了 VLM-R1 如何用强化学习颠覆视觉语言模型——从 Reward Hacking 的破解妙招，到让模型突然开窍的 OD Aha Moment，再到 7B→32B 参数下的 Scaling Law 验证…更重要的是，整体框架完全开源！此外，研究还发现，高质量、语义丰富的训练数据能够显著提升模型的推理能力，而低质量或过于简单的数据则可能限制模型的泛化能力。在 OVD 任务中，使用官方的 AP 值作为奖励函数时，模型倾向于预测所有可能的类别以追求更高的奖励分数，导致冗余输出的问题。
VLM-R1 实战训练教程
q742971636的博客
03-03 1262
指定使用 bfloat16 数据类型进行训练，以更好地利用 GPU 的计算能力。这里设置为 false。: 指定梯度积累的步数，即在执行反向传播之前累积的梯度步数。: 指定 master 节点的地址，用于分布式训练的通信。: 指定生成模型输入的最大 prompt 长度。: 指定仅保存模型权重，不保存优化器状态等信息。: 指定当前节点的排名，这里是0号节点。: 指定每个设备上的训练批次大小为 1。: 指定 master 节点的端口号。: 指定每个节点上的进程数为 8。: 指定每个输入生成的输出序列数。
基于DeepSeek GRPO训练的门店管理「视觉大脑」：VLM-R1模型Mimo Vision
weixin_55761258的博客
02-25 1114
Mimo Vision 作为智睿视界推出的一款尖端 AI 点检工具，借助 InfiSight 在连锁零售行业的丰富经验，整合了对智慧连锁商业的深入理解和数百种门店管理算法的精确需求与数据。更让人震惊的是，在领域外的测试数据上，随着训练步数增加，传统 SFT 模型的性能开始下滑，而 R1 模型却能持续提升！周末的开源圈，因为一个全新的开源项目 ——VLM-R1 又又炸锅了，自 DeepSeek-R1 开源以来，所有技术社区都沸腾了，激发了很多团队的灵感。如你所见，在店内有电脑、手机、台灯、其他配件的情况下，
【AI大模型】开源模型：DeepSeek-V3与Qwen2.5的颠覆性突破
bugyinyin的博客
01-06 7044
在全球人工智能模型快速发展的浪潮中，DeepSeek-V3和Qwen 2.5系列的亮相为开源模型注入了新的活力。这两大模型通过技术创新和高效优化，成功将训练成本和资源消耗降至最低，同时实现了与闭源顶级模型相媲美的性能。
【Qwen2.5-VL-3B-Instruct微调，单卡A800-PCIE-80GB复现VLM-R1】VLM-R1:DeepSeek R1方法成功迁移到视觉领域，多模态AI迎来新突破
weixin_43509698的博客
02-22 1279
Qwen2.5-VL-3B-Instruct微调
VLM（视觉语言模型）与DeepSeek R1（奖励机制）如何结合
二分掌柜的
02-21 1875
flyfish
DeepSeek-VL2 qwen2.5比较下
02-19
### 比较DeepSeek-VL2和Qwen2.5的特点与性能 #### 特点对比 对于多模态处理能力而言，DeepSeek-VL2专注于视觉-语言理解任务，能够解析复杂的图像内容并将其与自然语言相结合以提供更深入的理解[^1]。而Qwen2.5同样具备强大的跨模态交互功能，不仅限于静态图片分析，还支持动态视频片段解读以及音频输入。 在架构设计方面，DeepSeek-VL2采用了先进的Transformer变体结构来增强特征提取效率；相比之下，Qwen2.5则引入了更多创新机制如自适应注意力模块等特性，旨在进一步提升模型灵活性及泛化能力。 #### 性能表现 就具体应用场景下的实际效果来看： - **准确性**：两者均展示了优秀的识别精度，但在特定领域内可能存在差异。例如，在医疗影像诊断辅助场景下，经过专门训练后的DeepSeek-VL2可能表现出更高的特异性；而在通用物体检测任务中，Qwen2.5或许凭借其广泛的预训练数据集获得更好的成绩。 - **响应速度**：由于各自优化策略的不同，两者的推理时间也有所区别。通常情况下，针对轻量化部署进行了特别调整的版本可能会拥有更快的速度优势——比如用于移动设备上的简化版DeepSeek-VL2或是云端服务端运行时高度并行化的Qwen2.5实例。 - **资源消耗**：考虑到计算成本与时效性的平衡，不同硬件平台上的资源配置需求各异。某些高性能GPU集群更适合执行复杂运算密集型工作的Qwen2.5大型网络参数配置；而对于边缘计算环境，则倾向于选择占用内存较小且能耗更低廉的定制化DeepSeek-VL2方案。 ```python import time def compare_performance(model_a, model_b): start_time = time.time() result_a = model_a.predict() # 假设这是预测函数 end_time_a = time.time() result_b = model_b.predict() # 同样假设这是另一个模型的预测函数 end_time_b = time.time() print(f"Model A took {end_time_a - start_time} seconds.") print(f"Model B took {end_time_b - end_time_a} seconds.") # 这里仅作为示意代码，并未真正实现两个模型的具体逻辑 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值