千问系列1 -- Qwen-VL

已于 2025-02-10 22:56:52 修改
阅读量192 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： AI算法 文章标签： 人工智能 多模态大模型
于 2025-02-10 00:35:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/orangerfun/article/details/145504709

在这里插入图片描述

论文：Qwen-VL: A Versatile Vision-Language Model for Understanding, Localization, Text Reading, and Beyond

Qwen-VL 是基于千问大语言模型训练的多模态大模型，其在多种任务上（如OCR、VQA、Caption等）表现都优于同尺寸模型，并且支持多语言、多图片理解，此外对于细粒度视觉理解表现也是极其优秀
在这里插入图片描述

1. Methodology

1.1 模型结构

整体由三部分组成
（1）大语言模型：采用了Qwen-7B，并由预训练权重进行初始化
（2）视觉编码器：采用了ViT架构，并通过 Open

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Qwen-VL：多功能视觉语言模型，能理解、能定位、能阅读等
pku_langzi的博客
09-21 3382
阿里的多模态大模型，以千问为基础，加入视觉理解，定位，对话，OCR等能力，并支持中英双语，在众多多模态评测基准上超过InstructBLIP等对比方法。
Qwen-VL:A versatile vision-language model for understanding,localization,text reading and beyond
liguandong
10-10 1125
大语言模型：QWen-7B；在这个阶段，冻结了大语言模型，只优化视觉编码器和VL adapter，输入图像被调整为224x224，训练目标是最小化文本token的交叉熵，adamw，余弦学习率，最大lr=2e-4，最小lr=1e-6，训练过程中，图像-文本对的bs=30720，第一阶段预训练总共50000步，大约消耗了15亿图像-文本对样本和5000亿个图像-文本token。预训练使用了一个大规模的，弱标注，通过网络爬取的图像-文本对数据集，清洗之后保留14亿数据，其中77.3%为英文，22.7%为中文。
Qwen-VL A Versatile Vision-Language Model for Understanding, Localization, Text Reading, and Beyond
weixin_44966641的博客
01-18 1646
qwen-vl 相比于之前的 VLM 最大的亮点是加入了 grouding、OCR 这类更细粒度的、更有视觉特色的任务，而不只是简单的图片理解 VQA。并且 qwen-vl 很好地支持了图文交错的形式。笔者体验下来，目前来说，qwen-vl 是中文开源多模态大模型中最好的了。
ollama调用千问2.5-vl视频图片UI界面小程序分享
最新发布
Maya动画技术
05-18 1393
ollama调用千问2.5-vl视频图片UI界面小程序分享
[Qwen-VL] A Versatile Vision-Language Model forUnderstanding, Localization, Text Reading, and Beyond
sinat_30618203的博客
04-24 973
3）多轮对话通过对齐image-caption-box，还可以实现：通过训练时使用任意组合的图像-文本数据，可以：6）支持多图像输入通过训练时使用大量的中文和英文数据，可以：7）支持多语言转换。
Qwen-VL: 一种多功能的视觉-语言模型，用于理解、定位、文本阅读等
机器学习，深度学习
08-12 1622
在这项工作中，介绍了 Qwen-VL 系列，一系列大规模的视觉-语言模型（LVLMs），旨在感知和理解文本与图像。
Python 【大模型】之 使用千问Qwen2-VL 大模型训练LaTeX数学公式图，并进行LaTeX图识别测试
仙魁XAN
12-19 1717
Python是一种跨平台的计算机程序设计语言。是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。Python是一种解释型脚本语言，可以应用于以下领域： Web 和 Internet开发、科学计算和统计、人工智能、教育、桌面界面开发、软件开发、后端开发、网络爬虫。Python 机器学习是利用 Python 编程语言中的各种工具和库来实现机器学习算法和技术的过程。
开源模型应用落地-qwen模型小试-调用Qwen2-VL-7B-Instruct-更清晰地看世界（一）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
09-17 2万+
掌握Qwen2-VL提升职业发展增添强大的竞争力
开源模型应用落地-qwen模型小试-调用Qwen2-VL-7B-Instruct-更清晰地看世界-Lora-V100（四）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
09-26 2万+
使用LLaMA-Factory高效微调qwen2-vl-7b-instruct
重磅首发！本地部署+真实测评阿里开源视觉大模型Qwen2.5-VL-7B-Instruct和Qwen2.5-VL-72B！轻松识别提取发票！全方位测评见证AI视觉理解能力的质的飞跃，图像识别不再是难题
m0_71165399的博客
01-30 3260
2025年1月，阿里巴巴通义千问团队发布了全新的视觉语言模型——Qwen2.5-VL-7B-Instruct，作为Qwen2.5-VL系列的一员，标志着视觉语言理解领域的一次重要突破。这一中型参数模型，凭借其卓越的性能和多样化的功能，迅速吸引了业界的广泛关注。
Qwen2.5-VL 技术报告
02-24
我们介绍了 Qwen2.5-VL，这是 Qwen 视觉-语言系列的最新旗舰模型，在基础能力和创新功能方面取得了显著进展。Qwen2.5-VL 通过增强的视觉识别、精确的对象定位、强大的文档解析和长视频理解能力，在理解和与世界的...
VLM 系列——Qwen-VL 千问—— 论文解读
TigerZ*的博客
01-28 3010
Qwen-VL表示多任务训练后的模型，Qwen-VL-chat是基于Qwen-VL的指令调优（第三阶段SFT——监督微调）后的视觉语言聊天机器人。
【LLM多模态】Qwen-VL模型架构和训练流程
发现问题，并解决问题，批判性思维
04-25 1万+
Qwen-VL模型的整体网络架构包括以下三个组件： 大型语言模型（Large Language Model）： - 作用：作为Qwen-VL模型的基础组件，这个部分采用了一个大型语言模型，其初始权重来自于预训练的Qwen-7B模型。 - 来源：Qwen-VL的大型语言模型使用了来自Qwen-7B模型的预训练权重。 视觉编码器（Visual Encoder）： - 作用：视觉编码器采用了Vision Transformer（ViT）架构，用于处理输入图像并生成一组图像特征。在训练和推理过程中，将输入图像调
AI学习：图片对话 -通义千问VL
weixin_42954448的博客
12-14 3048
模型名模型简介qwen-vl-v1以 Qwen-7B 语言模型初始化，添加图像模型，图像输入分辨率为448的预训练模型。通义千问VL支持灵活的交互方式，包括多图、多轮问答、创作等能力的模型。
LLM系列 | 26：阿里千问Qwen模型解读、本地部署
热门推荐
ljp1919的专栏
11-04 2万+
Qwen 是一个全能的语言模型系列，包含各种参数量的模型，如 Qwen（基础预训练语言模型，即基座模型）和 Qwen-Chat（聊天模型，该模型采用人类对齐技术进行微调）。基座模型在众多下游任务中始终表现出卓越的性能，而聊天模型，尤其是使用人类反馈强化学习（RLHF）训练的模型，具有很强的竞争力。聊天模型Qwen-Chat拥有先进的工具使用和规划能力，可用于创建agent应用程序。即使在使用代码解释器等复杂任务上，Qwen-Chat与更大的模型相比也能表现出极具竞争力的性能。
通义千问( 五 ) 图片分析
yuanchun的知识整理
08-19 4089
通义千问VL(`Qwen-VL`)是阿里云研发的大规模视觉语言模型（Large Vision Language Model, LVLM），可以以图像、文本、检测框作为输入，并以文本和检测框作为输出
通义千问全新Qwen-VL多模态LLM：超越GPT-4V和谷歌Gemini 可看图说话
赵KK的博客
03-08 2096
总结：Qwen项目是一个多模态AI项目，包括Qwen-Chat、Code-Qwen、Math-Qwen、Qwen-VL和Qwen-Audio。通义千问视觉理解模型Qwen-VL再次升级，推出Max版本，拥有更强的视觉推理和中文理解能力，在多个权威测评中获得佳绩，整体性能堪比GPT-4V和Gemini Ultra。连续发布Qwen和Qwen-VL,Qwen不仅仅是一个语言模型，而是一个致力于实现通用人工智能（AGI）的项目，目前包含了大型语言模型（LLM）和大型多模态模型（LMM）第三是加强视觉表达功能。
大模型实战—通义千问大模型微调
2401_84052244的博客
04-25 4119
在之前的文章中，我分享了一些使用大语言模型开发应用的方法，也介绍了几个开源大语言模型的部署方式，有同学给我留言说想知道怎么训练自己的大语言模型，让它更贴合自己的业务场景。完整的大语言模型训练成本比较高昂，不是我们业余玩家能搞的，如果我们只是想在某个业务场景或者垂直的方面加强大模型的能力，可以进行微调训练。本文就来介绍一种大语言模型微调的方法，使用的工具是我最近在用的 Text Generation WebUI，它提供了一个训练LoRA的功能。
通义千问 Qwen-14B 模型微调实战案例及经验总结
机器学习社区
04-20 4366
微调是指在已经预训练好的深度学习模型基础上，通过进一步训练来适应特定任务或数据集。这种方法允许我们在具有大规模通用知识的模型基础上，更好地适应特定领域或任务。通俗点讲，就是用通用模型作为基础，配合上特定场景的数据做进一步训练，得到适合特定场景的模型。
DeepSeek-VL2 、 qwen2.5 vl 技术选型比较
05-09
### DeepSeek-VL2 和 Qwen2.5 VL 技术选型对比分析 #### 性能表现 DeepSeek-VL2 是一种基于视觉语言的大规模预训练模型，其设计目标是在多模态任务中提供高效的性能[^1]。它能够处理图像分类、对象检测以及图文匹配等多种复杂任务。相比之下，Qwen2.5 VL 同样具备强大的跨模态能力，在中文语境下的理解能力和生成质量尤为突出[^3]。 然而，具体到实际运行效率方面，如果硬件资源有限或者追求极致速度，则可能更倾向于选择优化较好的版本如 DeepSeek 的某些变体（例如 DeepSeek-R1 或者其他轻量化分支），因为它们经过专门调整以减少延迟并提高吞吐量[^2]。 #### 训练方法与灵活性 对于微调需求而言，Qwen2.5 支持利用 LoRA 这样的高效迁移学习策略来进行定制化开发[^3]。这种方法允许开发者只需修改一小部分参数即可实现特定功能增强而不影响整体架构稳定性，非常适合那些希望快速迭代原型但又不想投入过多计算成本的企业和个人研究者们。 而关于 DeepSeek 家族成员是否同样兼容此类先进技术目前尚无确切公开资料说明，但从理论上讲只要底层框架支持 TensorFlow/PyTorch 等主流平台那么实施起来应该不存在太大障碍。 ```python from peft import get_peft_model, LoraConfig import torch.nn as nn def apply_lora(base_model): config = LoraConfig( r=8, lora_alpha=32, target_modules=["query", "value"], lora_dropout=0.05, bias="none" ) model = get_peft_model(base_model, config) return model ``` 此代码片段展示了如何使用 PEFT 库中的 LoRA 方法对基础模型进行改造，适用于像 Qwen2.5 这样的大型语言或视觉-语言模型[^3]。 #### 社区生态和支持力度 考虑到长期维护和技术更新频率的话，阿里巴巴集团旗下的通义千问系列无疑拥有更加活跃的研发团队以及广泛的应用案例分享机会[^3]。这意味着当遇到棘手问题时更容易找到解决方案甚至官方文档指导。 另一方面，尽管 DeepSeek 可能在国际化视野下占据一定优势但由于缺乏针对亚洲市场尤其是中国市场特点所做的特别改进所以在本地化服务体验上或许稍逊一筹。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值