千问系列2--Qwen2-VL

于 2025-02-11 23:40:01 发布
阅读量154 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： AI算法 文章标签： 人工智能 机器学习 多模态大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/orangerfun/article/details/145560044

在这里插入图片描述

Qwen2-VL是Qwen-VL的改进版，主要改进点如下：
（1）引入动态分辨率机制，将不同大小分辨率的图片处理成不同数量的视觉 token，从而与人类的视觉感知相似，模型可以生成更加有效和准确的视觉表征
（2）使用多模态旋转位置编码 (M-RoPE)，促进位置信息与文本、图像、视频等模态更加有效的融合
（3）使用统一的范式处理视频和图像，增强模型的视觉感知能力
Qwen2-VL相比Qwen-VL在视觉理解能力上更加强大，能够理解超过20分钟的长视频，并且支持多语言，除了中文和英文外还支持欧洲语言、韩语、日语等

2. 模型结构

Qwen2-VL 由视觉编码器和大语言模型两大部分组成。为了处理各种分辨率的视觉输入，实现了一个675M参数量的ViT

了解本专栏 订阅专栏 解锁全文 超级会员免费看
开源模型应用落地-qwen模型小试-调用Qwen2-VL-7B-Instruct-更清晰地看世界（一）
以微薄之力，予他人些许温暖.
09-17 2万+
掌握Qwen2-VL提升职业发展增添强大的竞争力
LLM - 配置 ModelScope SWIFT 测试 Qwen2-VL 视频微调(LoRA) 教程(3)
AGI
10-14 1749
SWIFT 即 Scalable lightWeight Infrastructure for FineTuning (可扩展轻量级微调基础设施)，是高效、轻量级的模型微调和推理框架，支持大语言模型(LLM) 和 多模态大型模型(MLLM) 的训练、推理、评估和部署。可以将 SWIFT 框架直接应用到研究和生产环境中，实现从模型训练和评估到应用的完整工作流程。
[Qwen2-VL技术报告]: Enhancing Vision-Language Model’s Perceptionof the World at Any Resolution
zengxiaojian2的博客
11-18 1283
本文介绍了Qwen2-VL系列模型，这是对之前Qwen-VL模型的重大升级，重新定义了视觉处理中传统的固定分辨率方法。
通义千问 Qwen2，登顶国内第一大模型！
EDDYCJY的博客
07-04 2782
大家好，我是煎鱼。7 月 9 日起，OpenAI 将正式终止对部分地区（包含中国）提供 API 服务，引起业内一片哗然，纷纷开始自检，找新的国内可用的国产化替代方案。此时我有一个朋友的 Boss，结合各家大模型的表现和价格（性价比），推荐了阿里云的通义千问。尤其是提起最近新出的开源大模型 Qwen2 系列。非常强！今天特意了解了下，做一个快速的介绍分享。通义千问 Qwen22024 年 6 月 7...
【阿里YYDS】通义千问正式开源 Qwen2
weixin_41446370的博客
06-08 1408
Qwen2–72B正式开源，性能全面超越开源模型Llama3-70B，也超过文心4.0、豆包pro、混元pro等众多中国闭源大模型。在过去一段时间里，Qwen系列模型从Qwen1.5升级到Qwen2，Qwen2分5个尺寸，包括Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B以及Qwen2-72B。此次开源的Qwen2是阿里云最强模型，目前已经在Hugging Face和ModelScope上同步开源信息，用户可下载使用。
Qwen2-VL架构解读：Qwen2-VL: Enhancing Vision-Language Model’s Perceptionof the World at Any Resolution
samoyan的博客,记录技术成长~
09-26 1309
此外，为了减少每个图像的视觉标记，在ViT之后使用了一个简单的MLP层，将相邻的2×2标记压缩成一个标记，并在压缩后的视觉标记的开头和结尾放置特殊的和标记。此外，我们引入了深度为二的3D卷积（Carreira和Zisserman，2017）来处理视频输入，使模型能够处理3D管而不是2D补丁，从而在不增加序列长度的情况下处理更多的视频帧（Arnab等，2021）。在语言处理方面，我们选择了更强大的Qwen2（Yang等，2024）系列语言模型。
【论文通读】Qwen2-VL: Enhancing Vision-Language Model‘s Perception of the World at Any Resolution
HERODING23的博客
10-29 1233
当前多模态大模型的天花板，Qwen2-VL无论是通用的多模态能力还是多语言、Agent的能力，在开源模型中都是一骑绝尘的，甚至可以和商业模型如GPT-4o掰掰手腕。Qwen2-VL是经过沉淀的工作，它不只是扩数据那么简单，在很多实现细节上都进行了改进，是非常值得学习的工作。PaperCodeQwen2-VL重新定义了视觉处理中传统的预定分辨率的方法。它提出了新颖的动态分辨率机制，集成了M-RoPE（多模态旋转位置编码），并采用了统一的范式来处理图像和视频，增强模型的视觉感知能力。
开源模型应用落地-qwen模型小试-调用Qwen2-VL-7B-Instruct-更清晰地看世界-Lora-V100（四）
热门推荐
以微薄之力，予他人些许温暖.
09-26 2万+
使用LLaMA-Factory高效微调qwen2-vl-7b-instruct
【Qwen2-VL部署实战】剖析阿里通义千问的 Qwen2-VL：新一代视觉语言模型本地实战指南
寻道AI，探索AI无限可能！
10-14 1777
阿里通义千问的 Qwen2-VL 是一款具有强大功能和优异性能的视觉语言模型，它的发布为多模态技术的发展带来了新的机遇。无论是在视觉理解能力、多语言支持还是视觉智能体能力方面，Qwen2-VL 都表现出了卓越的性能，为各种应用场景的智能化发展提供了有力的支持。随着技术的不断发展和应用场景的不断拓展，相信 Qwen2-VL 将在未来发挥更加重要的作用。
论文阅读：Qwen2-VL: Enhancing Vision-Language Model’s Perception of the World at Any Resolution
a486259的博客
10-07 3480
公开时间：2024年10月3日Qwen2-VL是对之前的Qwen-VL模型的高级升级，重新定义了视觉处理中传统的预定分辨率方法。。这种方法允许模型生成更有效和更准确的视觉表征，与人类的感知过程密切一致。。我们，Qwen2-VL研究了大型视觉语言模型（LVLMs）的缩放定律。通过扩展模型的大小-2B、8B和72B参数的版本和训练数据的量，Qwen2-VL系列实现了具有高度竞争力的性能。
实战千问2大模型第二天——Qwen2-VL-7B（多模态）的部署和测试
qq_34717531的博客
09-10 4199
2024年 8 月 30 日，通义千问团队今天对 Qwen-VL（视觉语言、Vision Language）模型进行更新，推出 Qwen2-VL。Qwen2-VL 的一项关键架构改进是实现了与上一代模型 Qwen-VL 不同，，从而确保模型输入与图像固有信息之间的一致性。这种方法更接近地模仿人类的视觉感知，使模型能够处理任何清晰度或大小的图像。
Python 【大模型】之 使用千问Qwen2-VL 多模型大模型进行训练并识别图像
仙魁XAN
12-18 4387
Python是一种跨平台的计算机程序设计语言。是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。Python是一种解释型脚本语言，可以应用于以下领域： Web 和 Internet开发、科学计算和统计、人工智能、教育、桌面界面开发、软件开发、后端开发、网络爬虫。Python 机器学习是利用 Python 编程语言中的各种工具和库来实现机器学习算法和技术的过程。
通义千问 Qwen2-VL-2B：技术架构、核心原理、微调操作与场景应用详解
zhangjiaofa的专栏
01-03 1236
Qwen2-VL-2B 作为一款轻量级多模态大模型，凭借其创新的技术架构和强大的多模态处理能力，在文档理解、视频问答、视觉智能体等场景中展现了卓越的性能。通过本文提供的微调操作指南，开发者可以快速上手并应用于实际场景中。尽管在位置感知、长视频处理等方面仍存在挑战，但其开源特性为社区提供了丰富的探索空间。未来，随着技术的不断优化和应用场景的拓展，Qwen2-VL-2B 有望在多模态领域发挥更大的价值。参考文献[1] 千问团队tech lead解读Qwen2-VL。
Qwen2-VL全面解读！阿里开源多模态视觉语言模型，多项超越GPT4o与Claude 3.5-Sonnet
AIGCer的博客
09-24 8434
Qwen2-VL系列旨在重新定义传统的固定分辨率视觉处理方法，解决了在处理不同分辨率图像时的效率和准确性问题。
阿里：千问2技术报告发布！
大模型任我行的博客
08-25 1188
论文首先介绍了Qwen2模型的设计和评估方法，然后介绍了在多个基准数据集上的性能表现，最后提供了模型的开放资源和应用。
通义千问 2，大模型应用开发时的新选择
成富的专栏
07-04 1289
我在进行 AI 相关的开发中，最常用的模型是通义千问。本地开发的时候，使用 Ollama 来运行 qwen 模型。集成测试和线上环境，使用阿里云模型服务灵积上的通义千问模型。使用阿里云的好处是：模型服务的获取方便，稳定性好，可以及时获取到服务支持。现在通义千问出了新的版本，qwen2。qwen2 有 4 种参数尺寸：0.5b、1.5b、7b 和 72b。qwen2 的 0.5b 和 1.5b 的上...
开源超闭源！通义千问Qwen2发布即爆火，网友：GPT-4o危 | 最新快讯
www3300300的专栏
06-10 1314
网友们还发现，除了 72B 和指令调优版本，这次同步开源的 Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B，开源许可都换成了 Apache 2.0——而在开源生态的推动中，技术迭代会更快，云计算的服务延伸会越广，技术模型和商业模式，飞轮闭环，循环迭代，在固有基础设施的基础上垒起新的基础设施，形成稳固持续的竞争力。所以通义千问 Qwen2，此时此刻，登顶的是全球开源性能最高峰，引领的是开源对闭源的超越阶段，象征着中国大模型在新 AI 时代中的竞争力。
开源超闭源！通义千问Qwen2发布即爆火，网友：GPT-4o危
量子位
06-08 2014
鱼羊 发自 凹非寺量子位 | 公众号 QbitAI开源大模型全球格局，一夜再变。这不，全新开源大模型亮相，性能全面超越开源标杆Llama 3。王座易主了。不是“媲美”、不是“追上”，是全面超越。发布两小时，直接冲上HggingFace开源大模型榜单第一。这就是最新一代开源大模型Qwen2，来自通义千问，来自阿里巴巴。在十几项国际权威测评中，Qwen2-72B得分均胜过Llama3-70B，尤其在H...
通义千问2(Qwen2)大语言模型在PAI-QuickStart的微调、评测与部署实践
科技很有意思
06-14 2918
快速开始（PAI-QuickStart）是阿里云人工智能平台PAI的产品组件，它集成了国内外 AI 开源社区中优质的预训练模型，涵盖了包括大语言模型，文本生成图片、语音识别等各个领域。通过 PAI 对于这些模型的适配，用户可以通过零代码和 SDK 的方式实现从训练到部署再到推理的全过程，大大简化了模型的开发流程，为开发者和企业用户带来了更快、更高效、更便捷的 AI 开发和应用体验。
Qwen/Qwen2.5-VL-7B-Instruct与Qwen/Qwen2.5-VL-7B区别
最新发布
07-10
<think>我们正在比较两个Hugging Face模型：Qwen/Qwen2.5-VL-7B-Instruct 和 Qwen/Qwen2.5-VL-7B。 主要区别在于模型的任务类型和训练目标。 1. **Qwen/Qwen2.5-VL-7B**：这是一个基础的多模态（Vision-Language）模型，通常用于通用的视觉语言任务，如图像描述、视觉问答等。它没有特别针对指令跟随进行微调。 2. **Qwen/Qwen2.5-VL-7B-Instruct**：这个模型是在基础模型上进行了指令微调（Instruction Tuning）的版本，使其更适合对话式交互和遵循人类指令。它能够更好地理解并执行用户给出的复杂指令。 因此，选择哪个模型取决于你的应用场景： - 如果你需要构建一个对话系统（如聊天机器人），能够根据用户的指令完成多模态任务（例如：根据图片回答问题，或者根据指令生成图像描述），那么Instruct版本更合适。 - 如果你只需要一个基础的多模态模型，用于非交互式的任务（例如：批量处理图像生成描述），那么基础版本可能就足够了。 示例代码（使用Instruct版本进行对话）： ```python from transformers import AutoModelForCausalLM, AutoTokenizer import torch model_id = "Qwen/Qwen2.5-VL-7B-Instruct" tokenizer = AutoTokenizer.from_pretrained(model_id) model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto", torch_dtype=torch.float16) # 假设我们有一张图片，将其处理为模型可接受的格式 # 这里用伪代码表示图像处理，实际中需要使用模型对应的图像处理器 image_path = "example.jpg" # 实际中，使用类似这样的方式处理图像：image = Image.open(image_path).convert("RGB") # 然后使用tokenizer的图像处理器处理：image_tensor = tokenizer.image_processor(image) # 构建对话 query = "这张图片里有什么？" messages = [ {"role": "user", "content": [ {"image": image_path}, # 实际中应使用处理后的图像tensor {"text": query} ]} ] text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True) model_inputs = tokenizer([text], return_tensors="pt").to(model.device) # 生成回复 generated_ids = model.generate(**model_inputs, max_new_tokens=512) response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0] print(response) ``` 注意：上述代码需要根据实际图像处理部分进行调整，因为VL模型需要同时处理图像和文本。 §§相关问题§§ 1. 如何为Qwen多模态模型准备图像输入？ 2. 在Hugging Face中，如何正确使用`apply_chat_template`处理多模态输入？ 3. 指令微调（Instruction Tuning）对多模态模型性能有哪些具体提升？ 4. Qwen2.5-VL系列模型支持哪些视觉语言任务？ 5. 在使用Qwen多模态模型时，如何处理大图像以避免内存溢出？</think>### Qwen/Qwen2.5-VL-7B-Instruct 与 Qwen/Qwen2.5-VL-7B 的区别 这两个模型都是通义千问（Qwen）团队开发的多模态大模型，核心区别在于**功能定位和训练目标**： #### 核心差异对比表 | 特性 | Qwen2.5-VL-7B | Qwen2.5-VL-7B-Instruct | |---------------------|----------------------------|--------------------------------| | **核心定位** | 基础视觉语言模型 | 指令优化对话模型 | | **最佳应用场景** | 多模态特征提取/图像理解 | 人机交互/指令执行 | | **训练目标** | 跨模态对齐（图-文匹配） | 遵循复杂指令生成响应 | | **输入处理能力** | 接受图像+文本 | 支持图像+文本+复杂指令 | | **输出特性** | 生成图像描述/标签 | 执行操作建议/分步推理 | | **对话优化** | 基础对话能力 | 针对聊天场景深度优化 | | **典型任务** | VQA/图像标注/跨模态检索 | 多轮对话/任务执行/推理决策 | --- #### 详细说明： 1. **Qwen2.5-VL-7B (基础版)** - 专注于**视觉-语言基础能力** - 擅长： ```python # 图像描述生成 model.generate("描述这张图片", image=img_tensor) # 视觉问答 model.generate("图中人物的动作是什么?", image=img_tensor) ``` - 适用场景：图像理解API、跨模态检索系统 2. **Qwen2.5-VL-7B-Instruct (指令优化版)** - 强化**复杂指令理解和执行能力** - 核心优势： ```python # 多模态指令响应 model.generate( "分析这张产品图，列出改进建议并生成营销文案", image=product_img ) # 多步骤推理 model.generate( "根据流程图解释注册流程，并用Markdown输出步骤", image=flowchart_img ) ``` - 适用场景：AI助手、智能客服、自动化工作流 --- ### 选择建议： - 选 **基础版** 如果： 需要图像特征提取、跨模态检索等基础能力 - 选 **Instruct版** 如果： 需要： 1. 执行复杂用户指令 2. 多轮对话交互 3. 结合图像的推理决策 4. 结构化输出（JSON/Markdown等）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值