CodeFuse-VLM 开源，支持多模态多任务预训练/微调

最新推荐文章于 2025-06-24 15:34:09 发布
原创 最新推荐文章于 2025-06-24 15:34:09 发布 · 1.5k 阅读 · 17 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#AIGC #人工智能 #语言模型 #开源 #ai编程

CodeFuse-VLM是一个开源的多模态多任务微调框架，支持多种视觉和语言模型。CodeFuse-VLM-14B基于Qwen-VL和Qwen-14B，性能超越LLAVA-1.5和Qwen-VL，尤其在MMBenchmark上展示了出色的表现。该框架通过预训练和指令微调解决多任务问题，提升了开发效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

hgfkjgl.png


CodeFuse-MFT-VLM 项目地址：
https://github.com/codefuse-ai/CodeFuse-MFT-VLM

CodeFuse-VLM-14B 模型地址：
CodeFuse-VLM-14B
 

CodeFuse-VLM框架简介

随着huggingface开源社区的不断更新，会有更多的vision encoder 和 LLM 底座发布，这些vision encoder 和 LLM底座都有各自的强项，例如 code-llama 适合生成代码类任务，但是不适合生成中文类的任务，因此用户常常需要根据vision encoder和LLM的特长来搭建自己的多模态大语言模型。针对多模态大语言模型种类繁多的落地场景，我们搭建了CodeFuse-VLM 框架，支持多种视觉模型和语言大模型，使得MFT-VLM可以适应不同种类的任务。


CodeFuse-VLM 支持多种视觉达模型：CLIP，CLIP-336px，Chinese Clip，Chinese Clip-336px，Qwen Clip；多种语言达模型：Vicuna-7B，Vicunam-13B，LLAMA-2-7B，Qwen-7B，Qwen-14B。用户可以根据自己的需求，通过配置文件的方式搭配VL-MFTCoder中不同的Vision Encoder 和 LLM，使用同一套框架去适配的不同的模型，大大提高了开发效率

CodeFuse-VLM-arch.png


我们在2024年1月开源了多模态多任务微调框架——CodeFuse-VLM。在CodeFuse多任务微调的基础上，CodeFuse-VLM可以实现在多个模态，多个任务上同时并行地进行微调。通过结合多种损失函数，我们有效地解决了多任务学习中常见的任务间数据量不平衡、难易不一和收敛速度不一致等挑战。此外，CodeFuse-VLM框架具备高效训练特征，支持高效的PEFT微调，能有效提升微调训练速度并降低对资源的需求。 

https://cloud.video.taobao.com/play/u/23956347/p/1/d/ld/e/6/t/1/446458089308.mp4?auth_key=YXBwX2tleT04MDAwMDAwMTMmYXV0aF9pbmZvPXsidGltZXN0YW1wRW5jcnlwdGVkIjoiZDcxNGY0MjE3MDZmY2ZiYWY4ZWEyY2ExMGQyZGUxMDMifSZkdXJhdGlvbj0mdGltZXN0YW1wPTE3MDcxMjE2OTc=icon-default.png?t=N7T8https://cloud.video.taobao.com/play/u/23956347/p/1/d/ld/e/6/t/1/446458089308.mp4?auth_key=YXBwX2tleT04MDAwMDAwMTMmYXV0aF9pbmZvPXsidGltZXN0YW1wRW5jcnlwdGVkIjoiZDcxNGY0MjE3MDZmY2ZiYWY4ZWEyY2ExMGQyZGUxMDMifSZkdXJhdGlvbj0mdGltZXN0YW1wPTE3MDcxMjE2OTc=


CodeFuse-VLM-14B模型

我们基于Qwen-VL的视觉编码器和Qwen-14B 大语言模型，在CodeFuse-VLM框架下训练了CodeFuse-VLM-14B 模型，在多个通用和代码任务上的性能超过 LLAVA-1.5 和 Qwen-VL。
 

预训练数据

参考了Qwen-VL的Multi-Task Pretraining数据集，我们准备使用多种数据对齐Qwen-VL-14B的模态。在预训练当中我们使用多任务训练的方式，每一个数据集都是一个训练任务任务。

dataset

type

number of samples

synthdog-en

OCR

50w

synthdog-zh

OCR

50w

cc3m(downsampled)

Image Caption

55w

SBU

Image Caption

85w

Visual Genome VQA

VQA

50w

Visual Genome Region descriptions

Ref Grouding

50w

Visual Genome objects

Caption With Grouding

50w

OCR_VQA

OCR and VQA

50w

我们使用预训练数据集训练模态对齐的cross attention 模块，可以执行以下代码来启动模型预训练

sh scripts/pretrain_multinode.sh

指令微调数据

我们使用了 LLAVA-1.5 的指令微调数据，总共65w样本，LLAVA的指令微调数据集包含复杂图片的推理分析，对LLM理解视觉特征很有帮助。

截屏2023-12-03 下午5.21.11.png


指令微调数据构成如下，在视觉指令微调当中我们使用多任务训练的方式，每一个数据集都是一个训练任务任务。

dataset

type

number of samples

OCR_VQA

OCR and VQA

7w

GQA

Image Caption

8w

Visual Genome

Ref Grouding and Caption With Grouding

10w

COCO

Detailed Description and Complex Reasoning

37w

Text-VQA

Detailed Description and Complex Reasoning

3w

我们使用指令微调数据训练CodeFuse-VLM-14B中的Qwen-14B大语言模型，可以执行以下代码来启动模型的指令微调

sh scripts/finetune_multinode.sh

模型性能

我们训练的CodeFuse-VLM-14B 模型在多个benchmark上的表现超过Qwen-VL和LLAVA-1.5, 具体得分参考下面的图表。

CodeFuse-VLM-14B-radar-chart.png

Benchmark

LLAVA-1.5

Qwen-VL

CodeFuse-VLM-14B

MM_Bench

67.7

60.6

75.7

MM_Bench_CN

63.6

56.7

69.8

VqaV2

80.0

78.2

79.3

GQA

63.3

57.5

59.4

TextVqa

61.3

63.8

63.9

VizWiz

53.6

35.25

45.3

Sketch2Code

-

90.7

94.4

我们的CodeFuse-VLM-14B 在MMBenchmark的中英文榜单分别取得第13/21名的排名，高于Qwen-VL第29/36名的排名
MMBench
 

产品图片

我们通过CodeFuse-VLM 在蚂蚁内部训练了网页图片到前端代码的多模态大模型，并把大模型集成到内部的Visual Studio Code插件中。如下面两站图所示，左边的图片是网页原图，右边的图片是大模型生成的前端代码渲染出的图片，多模态大模型生成的前端代码渲染出的图片对网页原图有很高的还原性，很大地提高了前端工程师开发的效率。

公众号产品图片.png

公众号产品图片2.png

CodeFuse
关注
多模态大模型：技术原理与实战 微调实战
AI天才研究院
06-25 1607
近年来，随着深度学习技术的快速发展，人工智能领域取得了突破性进展，尤其是在自然语言处理和计算机视觉领域。然而，传统的单模态模型往往只能处理一种类型的数据，例如文本或图像，难以捕捉现实世界中多模态信息之间的复杂关系。为了解决这个问题，研究人员开始探索多模态学习，旨在构建能够同时处理和理解多种模态信息的模型。多模态大模型作为多模态学习的最新进展，通过整合来自不同模态的信息，例如文本、图像、音频和视频，能够实现更全面、更深入的语义理解。
主流开源大语言模型的微调方法
羊城迷鹿的博客
11-21 1150
支持市面绝大多数模型的QLoRA和全量参数微调。支持市面少数模型的QLoRA和全量参数微调。全量微调和 P-Tuning v2。全量微调和 P-Tuning v2。全参微调、LoRA以及Q-LoRA。支持市面绝大多数模型的各种微调。
CogAgent：开创性的VLM在GUI理解和自动化任务中的突破
人工智能讲师分享前沿技术
04-29 1450
结果显示，CogAgent在通用VQA类别的两个数据集上均达到了最先进的一般性结果，同时在文本丰富的VQA类别中的五个基准测试中的四个上取得了最佳成绩，显著超过了其他一般性模型，并且在某些情况下甚至超过了特定任务的模型。基于VLM的代理通过其视觉和语言的综合处理能力，为与GUI的自然交互提供了新的可能性，并且在自动化和增强人机交互体验方面展现出巨大的潜力。：设计用于处理高达1120×1120分辨率的图像，这使得模型能够识别和理解细小的GUI元素，如小图标、文本和复杂的图表。
X-VLM 开源项目使用教程
gitblog_01181的博客
08-16 406
X-VLM 开源项目使用教程 1. 项目的目录结构及介绍 X-VLM 项目的目录结构如下： X-VLM/ ├── configs/ │ ├── config1.yaml │ └── config2.yaml ├── data/ │ ├── dataset1/ │ └── dataset2/ ├── models/ │ ├── model1.py │ └── model2.p...
当VLM学会“临时抱佛脚“：清华新框架让自动驾驶AI按需调用工具，推理能力超越GPT-4o！
soaring_casia的专栏
06-04 766
引入近年来视觉语言模型发展迅猛，衍生出来了诸多应用和产品，并且均取得了非常亮眼的成绩。目前有很多工作都将预训练的大语言模型或者视觉语言模型与自动驾驶任务相结合，简化了原有依赖人工设计的感知、预测和决策组件，充分发挥大模型出色的高级场景理解、常识推理和决策能力。通过利用互联网级别的数据为自动驾驶模型提供更加丰富的语义表示和更加强大的场景泛化能力。基于视觉语言模型的自动驾驶工作可以总结成图1所示的模型范式。图1：自动驾驶任务中不同视觉语言模型使用方法对比。
VLM/VLA模型训练与评估指南：13大开源数据集，轻松入门，记得收藏！
2401_85375151的博客
06-24 1161
本文系统梳理了自动驾驶领域视觉语言大模型（VLM）的技术框架和发展现状。典型VLM包含视觉编码器、驾驶适配器、文本编码器和LLM核心四大组件，而视觉语言驾驶模型（VLA）额外集成扩散式轨迹规划器。当前技术突破主要体现在：1）高质量数据构建，如小米通过310万驾驶数据训练Qwen2.5-VL模型；2）多阶段训练策略，包括监督微调和强化学习；3）专用评估体系发展，如DriveMLLM、AD2-Bench等基准测试。研究表明，融合场景描述、交通信号检测等6类QA问答能显著提升模型性能。
大模型应用实战4——开源大模型微调（基于LLaMA-Factory）
m0_60792028的博客
06-23 1437
而大模型微调又分为全量微调和高效微调两种，所谓全量微调，指的是调整大模型的全部参数，而高效微调，则指的是调整大模型的部分参数，目前常用的高效微调方法包括LoRA、QLoRA、p-Tunning、Prefix-tunning等。这是模型保存和检查点创建的频率，允许你在训练过程中定期保存模型的状态 ,--model_name_or_path /mnt/workspace/.cache/modelscope/Qwen/Qwen1___5-1___8B-Chat ## 模型的存储路径 ,
【LLama-Factory】开源低代码大模型微调框架本地部署和使用保姆级教程！！！
weixin_43012017的博客
12-23 3942
LLaMA Factory 是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台。不想通过GitHub跳转到文档，可以通过下面的链接直接访问LLama-Factory官方文档。
VLM-R³：面向增强多模态链式思维的区域识别、推理与精化
最新发布
07-15
VLM-R³ 提出了一种结合 Visuo-Lingual Interleaved Rationale (VLIR) 数据集和 Region-Conditioned Reinforcement Policy Optimization (R-GRPO) 策略的多模态推理框架，使模型能够在生成链式推理过程中动态识别、...
多模态vlm综述：An Introduction to Vision-Language Modeling 论文解读
samoyan的博客,记录技术成长~
06-06 6022
论文：这里主要整理了多模态的技术发展历程，没有一些实验对比的数据。VLM家族：1）对比训练是一种广泛应用的策略，它采用正面例子和负面例子的配对方式。视觉语言模型（VLM）通过这种方式被训练，以针对正面配对预测出相似的表示，同时对于负面配对则预测出不同的表示。2）掩码技术是另一种训练VLM的策略，它通过重构给定的未掩码文本字幕中缺失的部分来实现。类似地，通过在字幕中掩码词语，也可以训练VLM来重构给定未掩码图像中的这些词语。
SOTA多模态大模型！13个开源模型汇总，附论文和代码_开源多模态大模型
2401_85377976的博客
07-10 4465
近年来，多模态大模型（Multimodal Large Language Models, MLLMs）在人工智能领域取得了显著的进展，特别是在自然语言处理、计算机视觉和多模态理解方面。这些模型能够理解和生成多种类型的数据，如文本、图像、音频和视频，为多模态学习和应用提供了强大的工具。今天给大家汇总了13个开源多模态大模型，这些模型在各自的领域中刷新了多个SOTA记录，每个模型都将附上相关的论文和代码，一起看看多模态大模型的最新研究成果吧！论文PDF和开源代码都整理好了😝有需要的小伙伴，可以保存图片到。
【GitHub项目推荐--英伟达开源！下一个GPT！视觉语言模型 （VLM）开源！】【转载】
j8267643的博客
02-01 561
视觉迎来GPT时刻？视觉语言模型 （VLM）源代码教主V5NVlabs/VILA：VILA 是一系列最先进的视觉语言模型 （VLM），适用于跨边缘、数据中心和云的各种多模态 AI 任务。VILA是由NVIDIA实验室与学术界合作研发的一系列视觉语言模型（Visual Language Model, VLM），旨在通过先进的预训练技术和模型架构，实现跨边缘、数据中心和云的各种多模态AI任务。
这款 AI 编码工具 CodeFuse 很惊艳
一个成长中的程序员，期待用技术的眼光生活
12-19 2407
CodeFuse 是和 GitHub Copilot 类似的编码助手，是蚂蚁集团基于自研的基础大模型进行微调的代码大模型。CodeFuse 具备代码补全、添加注释、解释代码、生成单测，以及代码优化功能，以帮助开发者更快、更轻松地编写代码。我们知道在 IntelliJ IDEA 中安装 GitHub Copilot 并不能召唤出 chat 功能，目前这个功能还处于测试阶段，但 CodeFuse 直接就可以召唤出 chat 功能，并能很好的解释代码。
研究篇| 一款深入浅出的微调框架
youbingchen的博客
05-21 1979
中介绍了模型训练需要大量的计算资源,一般情况下,个人和企业是无法承担的成本,所以微调的方案就出来, 关于微调的方式也很多,大部分微调方式都是固定模型参数(freeze model), 可以降低计算梯度等内存空间, 从而实现小参数撬动大模型, 关于更多的微调方法可以查看《LoRA在需要微调的层上引入了一对小的可训练矩阵，称为低秩矩阵。训练器: 主要支持lora方式微调, 支持 (增量）预训练、（多模态）指令监督微调、奖励模型训练、PPO 训练、DPO 训练、KTO 训练和 ORPO 训练方法。
「CodeFuse」CodeFuse简介及项目应用实战
GIS摆渡人
11-20 7062
CodeFuse 是一款为国内开发者提供智能研发服务的产品，该产品是基于蚂蚁集团自研的基础大模型进行微调的代码大模型，旨在辅助开发者提高编码效率和代码质量。它提供了多项功能，包括辅助编码、代码优化和生成单测。通过海量数据提供实时的代码补全服务，包括行内补全和片段补全，并支持解释代码、生成注释等功能，帮助开发者快速完成功能研发，提高研发效率。此外，CodeFuse 还能对选定的代码段进行分析理解，提出优化和改进建议，并能直接基于改进建议形成代码补丁，帮助开发者写出更好的代码。
北航发布LlamaFactory，零代码大模型微调平台，一键快速实现大模型训练/微调/评估
kaka0722ww的博客
04-22 3012
本文提出LLAMA FACTORY，一个集成了一套高效训练方法的统一大型语言模型微调框架。它允许用户灵活定制100+ LLM的微调，而无需通过内置的web UI LLAMA板进行编码。实证验证了该框架在语言建模和文本生成任务上的效率和有效性。目前已在Github上开源，地址https://github.com/hiyouga/LLaMA-Factory。
LLaMA-Factory：大语言模型微调框架（大模型）
2301_81940605的博客
07-18 5106
LLaMA-Factory 是一个国内北航开源的低代码大模型训练框架，专为大型语言模型（LLMs）的微调而设计
最强开源大模型炸场！全网独一份AI大模型学习实践资源...（待会删）
Y525698136的博客
08-07 1438
最强开源大模型炸场！全网独一份AI大模型学习实践资源...（待会删）
主流的模型微调框架推荐
学亮编程手记
02-25 1328
以下是主流的模型微调框架推荐，并结合。
vlm 预训练任务总结
03-12
### Visual Language Model (VLM) Pre-training Tasks Summary Visual Language Models (VLMs), which integrate visual and textual information, have evolved significantly with the development of deep learning techniques. The progression from specific task models to large unified language models has influenced VLM design as well[^1]. For instance, early approaches focused on training separate modules for vision and language before integrating them. In contrast, modern VLM architectures often leverage joint embeddings learned through multi-modal pre-training tasks that align images and text at a deeper level. Commonly used pre-training strategies include: #### Masked Multi-Modal Modeling This approach extends masked language modeling by masking both tokens within sentences and regions in images simultaneously. This forces the model to learn richer representations based on context clues across modalities. ```python def mask_tokens_and_regions(tokens, image_regions): # Randomly mask some percentage of input token positions masked_tokens = apply_masking(tokens) # Similarly mask corresponding patches in the image data masked_image_regions = apply_patch_masking(image_regions) return masked_tokens, masked_image_regions ``` #### Image-Text Matching Models are trained to distinguish between matching and mismatched pairs of captions and associated images. Such discriminative objectives help establish semantic alignment between different forms of media. #### Region Caption Generation Given an image divided into multiple regions, this task requires generating descriptive phrases or full sentences about each region individually while maintaining coherence when combined together. These methods collectively contribute towards building robust multimodal understanding capabilities essential for downstream applications ranging from image captioning to visual question answering systems.
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值