论文阅读：Visual-RFT：Visual Reinforcement Fine-Tuning

已于 2025-04-09 13:50:10 修改
阅读量164 收藏
点赞数
分类专栏： LLM & AIGC & VLP 文章标签： 目标跟踪 人工智能 计算机视觉
于 2025-04-08 17:06:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lilai619/article/details/147069587
版权

标题：视觉强化微调

论文：https://arxiv.org/pdf/2503.01785

代码：https://github.com/Liuziyu77/Visual-RFT

背景知识

1：RFT（强化微调）与之前的SFT（监督微调）之间的一个主要区别在于数据效率。

SFT范式：直接模仿高质量、精心策划的数据中提供的“正确答案”，因此依赖于大量的训练数据。RFT范式：评估模型的响应，并根据其是否正确进行调

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Visual-RFT: Visual Reinforcement Fine-Tuning
c_cpp_csharp的专栏
03-15 199
强化微调（RFT）在像OpenAI o1这样的大型推理模型中，通过对答案的反馈进行学习，这在微调数据稀缺的应用中尤为有用。最近的开源工作如DeepSeek R1表明，使用可验证奖励的强化学习是复现o1的一个关键方向。虽然R1风格的模型在语言模型中取得了成功，但其在多模态领域的应用仍未得到充分探索。本文引入了视觉强化微调（Visual-RFT），进一步扩展了RFT在视觉任务上的应用领域。
视觉强化微调！DeepSeek R1技术成功迁移到多模态领域，全面开源
zhangjiaofa的专栏
03-06 764
部分模型输出结果展示如图 4 和图 5 所示，相比于传统的视觉指令微调（Visual Instruction/Supervised Fine-Tuning），Visual-RFT（视觉强化微调）通过强化学习方法，对问题进行深入的 think 分析取得更佳推理性能，相较于传统的指令微调（SFT）方法取得显著提升。通过针对视觉的细分类、目标检测等任务设计对应的规则奖励，Visual-RFT 打破了 DeepSeek-R1 方法局限于文本、数学推理、代码等少数领域的认知，为视觉语言模型的训练开辟了全新路径！
Visual-RFT：基于强化学习的视觉语言模型微调技术研究
deephub
03-06 1541
Visual-RFT代表了视觉语言模型微调方法的技术变革。通过整合类人推理过程与强大的强化学习框架，该方法在传统上受数据可用性制约的任务中实现了显著性能提升。无论是细粒度图像分类、少样本对象检测还是推理定位，Visual-RFT都为模型提供了迭代学习和动态适应的能力，为未来视觉语言模型开发提供了新的技术路径。
PIKE-RAG及多模态R1-Visual-RFT思路思考：兼看olmOCR的一些测试感官
m0_59164520的博客
03-26 292
经验告诉我们，强化学习的核心就是奖励函数的设计，这是核心。另外，RAG应该是要做简单，而不是越搞越复杂，不然很难用。
DeepSeek-R1的风吹到了多模态，Visual-RFT发布，视觉任务性能飙升20%
m0_59164520的博客
03-25 362
与（a）数据驱动的视觉指令微调相比，（b）视觉强化微调（Visual-RFT）在有限数据下更具数据效率。（c）成功地将RFT应用于一系列多模态任务，并在底部展示了模型的推理过程示例。
Visual-RFT：视觉强化微调
最新发布
04-02
这篇论文提出了一种全新的多模态模型微调范式，名为视觉强化微调（Visual-RFT）。它将语言模型中已有的强化微调（RFT）方法，首次拓展到了视觉任务上。论文的核心思想是：通过设计可验证的奖励函数（如分类是否正确...
【论文阅读】05-TimeTraveler：Reinforcement Learning for Temporal Knowledge Graph Forecasting
Mr_GYF的博客
11-28 1212
常规定义ERTE, R,TERT和FFF分别是实体，关系,时间戳和事实一个事实在TKG中可以被表示成一个四元组quadruple（ese_ses​rrreoe_oeo​ttt在时间ttt下，rrr表示在头实体和尾实体之间的有向边可以通过随时间变化的图形来表示TKG，TKG可以表示为G1TG_{(1,T)}G1T​G1G2GTG1​G2​...GT​，其中GtEtRFtGt​Et​RFt​。
Visual-RFT论文解读
jiangqixing0728的博客
03-11 818
OpenAI o1、DeepSeek-R1等大型推理模型模型中的强化微调（Reinforcement Fine-Tuning ，RFT）在微调数据（FT）稀缺的情况下特别重要，但是这种具备可验证奖励的强化学习在多模态领域的应用没有得到充分的探索（前阵子其实还有一篇VLM-R1的开源仓库）。这篇工作介绍了VRFT，简单来说，用VLM对输入生成多个推理结果和最终答案，然后使用提出的视觉感知验证奖励函数进行优化模型（通过策略优化算法比如GRPO）。
Visual-RFT视觉强化微调：用「试错学习」教会AI看图说话
yumuing‘s blog
03-08 1036
上海AI实验室最新突破！Visual-RFT技术让视觉模型像人类一样通过"尝试-反馈-改进"的强化学习机制，仅用几十张图片就能精通目标检测、细粒度分类等高难度任务，多项指标刷新纪录！
DeepSeek R1成功迁移到视觉领域！全面开源！
weixin_59191169的博客
03-11 762
今天给大家重磅推荐一个突破性的视觉强化微调开源项目 —— Visual-RFT (Visual Reinforcement Fine-Tuning)。视觉强化微调 Visual-RFT 将 DeepSeek-R1 背后的基于规则奖励的强化学习方法和 OpenAI 的强化微调（Reinforcement Fine-Tuning，RFT）范式成功从纯文本大语言模型拓展到了视觉语言大模型（LVLM）。
换掉SFT！强化微调RFT来了，性能炸裂！
z551646的博客
12-09 1625
恭喜训练营的一位社招学员拿下携程大模型算法offer，涨幅40%。这次为期 12 天的 OpenAI 发布系列的 Day2，就搞出了一个让开发者震惊的玩意儿。强化微调（Reinforcement Fine-Tuning）是通过给予模型高质量任务数据和参考答案来强化其推理能力。与传统微调不同，强化微调并不是简单地让模型“记住答案”，而是通过训练模型在特定领域中学会推理，找到正确答案。可以把它想象成给 AI 一套复杂的规则，让它通过实践和思考逐步掌握解决问题的方法。
上交&上海AILab：开源DeepSeek R1成功迁移多模态的方案与代码！
zenRRan的博客
03-06 510
这是一篇让视觉模型学会“自我反思”的论文！如果你的AI在识别猫咪时，不仅能说“这是猫”，还能推理出“耳朵尖尖、尾巴长长、胡须翘翘”——是不是更靠谱？但问题来了：如果训练数据少得可怜，怎么让模型不摆烂？论文：Visual-RFT: Visual Reinforcement Fine-Tuning链接：https://arxiv.org/pdf/2503.01785项目：https://github....
【论文解读】deepseek R1迁移到多模态《Visual-RFT: Visual Reinforcement Fine-Tuning》
qq_30731313的博客
03-06 1061
论文提出了一种全新的视觉强化微调方法，通过利用 LVLM 生成包含推理过程的多组候选答案，再结合规则化的可验证奖励（例如 IoU 奖励和分类准确率奖励），并采用 GRPO 算法进行策略优化，有效提升了模型在少样本条件下的视觉感知与推理能力。实验结果表明，该方法在细粒度分类、少样本目标检测、推理接地及开放词汇目标检测任务上均超越传统的监督微调方法，展示了其在多模态任务上的广阔应用前景。
显著超越SFT，o1/DeepSeek-R1背后秘诀也能用于多模态大模型了
量子位
03-05 86
Visual-RFT团队 投稿量子位 | 公众号 QbitAIo1/DeepSeek-R1背后秘诀也能扩展到多模态了！举个例子，提问多模态大模型：“什么宝可梦可以释放技能十万伏特”时，模型通过推理过程准确找出皮卡丘对应的坐标框，展示出模型的泛化能力。这是来自上海交大、上海AI Lab、港中文大学的研究人员推出的视觉强化微调开源项目——Visual-RFT (Visual Reinforcement...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

微风❤水墨

你的鼓励是我最大的动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值