【论文通读】Qwen2-VL: Enhancing Vision-Language Model‘s Perception of the World at Any Resolution

最新推荐文章于 2025-10-11 22:22:46 发布
原创 最新推荐文章于 2025-10-11 22:22:46 发布 · 1.3k 阅读 · 26 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#语言模型 #人工智能 #自然语言处理 #通义千问 #LVLM

Qwen2-VL: Enhancing Vision-Language Model's Perception of the World at Any Resolution

前言

当前多模态大模型的天花板，Qwen2-VL无论是通用的多模态能力还是多语言、Agent的能力，在开源模型中都是一骑绝尘的，甚至可以和商业模型如GPT-4o掰掰手腕。Qwen2-VL是经过沉淀的工作，它不只是扩数据那么简单，在很多实现细节上都进行了改进，是非常值得学习的工作。
Paper https://arxiv.org/pdf/2409.12191
Code https://github.com/QwenLM/Qwen2-VL

Abstract

Qwen2-VL重新定义了视觉处理中传统的预定分辨率的方法。它提出了新颖的动态分辨率机制，集成了M-RoPE（多模态旋转位置编码），并采用了统一的范式来处理图像和视频，增强模型的视觉感知能力。Qwen2-VL取得了具有竞争力的效果，甚至与GPT-4o相当。

Motivation

当前主流多模态框架是visual encoder->cross-model connector->LLM。其他一些方法，如更大的模型架构，更高分辨率图像，MoE架构，模型集成，视觉文本更复杂的连接，也为提升LVLM处理复杂能力方面发挥了关键作用。

但是当前的LVLMs通常是固定输入的图像大小。虽然这增强了输入的一致性，但是也限制了模型捕获不同尺寸信息的能力，尤其导致高分辨率图像信息丢失。此外，大部分LVLMs依赖静态冻结的CLIP-style

最低0.47元/天 解锁文章
VLM 系列——Qwen2 VL——论文解读——前瞻（源码解读）
TigerZ*的博客
09-10 1161
Qwen2 VL 是一系列多模态大型语言模型（MLLM），其中包括2B、7B、72B三个版本，整体采用视觉编码器+LLM形式（可以认为没有任何投射层）。该模型能够处理包括文本、图像在内的多种数据类型，具备图片描述、单图文问答、 多图问对话、视频理解对话 、json格式、多语言、agent、高清图理解。Qwen2-VL-2B可以轻松地在现代手机上本地进行推理。比较创新的是图像缩放方式+3D LLM位置编码。
LLM 系列——Qwen2——论文解读
TigerZ*的博客
07-24 1127
Qwen2 是单模态纯文本的大语言模型，开源了一整套基础和指令调优的语言模型，参数范围从5亿到720亿不等，包括密集模型和混合专家模型。可以用于：语言理解、生成、多语言、编码、数学和推理。主要是精召性能提升、数据和长文本处理方面改进，包括数据处理等使用了一些最新的其他论文的思路，模型结构等方面并没有大的改动。
[Qwen2-VL技术报告]: Enhancing Vision-Language Model’s Perceptionof the World at Any Resolution
zengxiaojian2的博客
11-18 1387
本文介绍了Qwen2-VL系列模型，这是对之前Qwen-VL模型的重大升级，重新定义了视觉处理中传统的固定分辨率方法。
《Qwen2-VL》论文精读【上】：发表于2024年10月 Qwen2-VL 迅速崛起 | 性能与GPT-4o和Claude3.5相当
my_name_is_learn的博客
11-02 3148
Qwen2-VL-72B模型在各种多模态基准测试中，与GPT-4o和Claude3.5-Sonnet等领先模型相比，实现了相当的结果，超越了其他通用模型。这篇是论文的上集，下集会补充详细的技术实现原理
QwenVL - 202310版-论文阅读
最新发布
zhangjipinggom的博客
10-11 623
这里叫微调感觉主要是数据量少（350k），且模型已经具备一定能力，这里是让输出更符合人的习惯。和前面两个阶段还有一个很大不同的是，数据格式不一样，会加上图片标识，且计算损失函数时候不会把人提问的内容加进去（前面两个阶段没有人提问的prompt）第二个阶段-多任务预训练：训练损失函数还是生成的文本的交叉熵，和第一阶段很像。第一个阶段-预训练：训练损失函数是生成的文本的交叉熵，本质是一个图生文任务感觉不直接训练三个模块是为了降低训练难度？QwenLM里面7B的参数是不动的，这样只需要训剩下的1.98B。
【文献阅读】Qwen2-vl: Enhancing vision-language model‘s perception of the world at any resolution
Toky_min的博客
06-04 766
我们提出了 Qwen2-VL 系列，这是对先前 Qwen-VL 模型的高级升级，重新定义了视觉处理中传统的预定分辨率方法。Qwen2-VL 引入了原生动态分辨率机制，使模型能够将不同分辨率的图像动态处理为不同数量的视觉标记。 这种方法使模型能够生成更高效、准确的视觉表示，紧密贴合人类感知过程。模型还集成了多模态旋转位置嵌入（M-RoPE），促进文本、图像和视频的位置信息有效融合。我们采用统一范式处理图像和视频，增强了模型的视觉感知能力。 为探索大型多模态模型的潜力，Qwen2-VL 研究了大型视觉语言模
论文阅读：Qwen2-VL: Enhancing Vision-Language Model’s Perception of the World at Any Resolution
a486259的博客
10-07 4181
公开时间：2024年10月3日Qwen2-VL是对之前的Qwen-VL模型的高级升级，重新定义了视觉处理中传统的预定分辨率方法。。这种方法允许模型生成更有效和更准确的视觉表征，与人类的感知过程密切一致。。我们，Qwen2-VL研究了大型视觉语言模型（LVLMs）的缩放定律。通过扩展模型的大小-2B、8B和72B参数的版本和训练数据的量，Qwen2-VL系列实现了具有高度竞争力的性能。
《Qwen2-VL》论文精读【下】：发表于2024年10月 Qwen2-VL 迅速崛起 | 性能与GPT-4o和Claude3.5相当
my_name_is_learn的博客
11-03 1752
本文属于第二篇的Qwen2-VL介绍，详细介绍了Qwen2-VL的方法部分，包括训练阶段、训练数据格式、训练硬件资源、改进创新点等内容。
[Qwen-VL] A Versatile Vision-Language Model forUnderstanding, Localization, Text Reading, and Beyond
sinat_30618203的博客
04-24 1152
3）多轮对话通过对齐image-caption-box，还可以实现：通过训练时使用任意组合的图像-文本数据，可以：6）支持多图像输入通过训练时使用大量的中文和英文数据，可以：7）支持多语言转换。
Qwen-VL: A Versatile Vision-Language Model for Understanding, Localization, Text Reading, and Beyond
Already8888的博客
07-04 731
由于现实世界的视觉场景⾮常复杂，细粒度的视觉理解对于 LVLM 有效、准确地协助⼈们起着⾄关重要的作⽤。但朝着这个方向的尝试并不多（Peng et al.， 2023； Chen et al.， 2023a），⼤多数开源 LVLM 仍然以粗粒度的⽅式感知图像，缺乏执⾏细粒度感知（例如物体定位或⽂本阅读）的能⼒。在本⽂中，我们探索了⼀条出路，并介绍了开源 Qwen 家族的最新成员：Qwen-VL 系列。Qwen-VL 是基于 Qwen-7B （Qwen， 2023）语⾔模型的⼀系列⾼性能、多功能的视觉语⾔基础
Qwen2-VL论文阅读笔记
谁怕平生太急
09-25 1719
Naive Dynamic Resolution - 用2D-RoPE取代绝对位置编码 推理阶段的序列长度是可控的 【推理阶段的不定长的vision tokens是怎么处理的？遵从qwenvl的三阶段：用image-text单独训练ViT、解冻所有参数训练理解能力、最后冻住ViT只训练LLM遵循格式化数据。预训练阶段目的： 学习 图文关系、通过ocr的图像文本上下文识别、图片分类任务。平衡长视频处理的计算需求与整体训练效率，我们动态调整每个视频帧的分辨率，限制每个标记的总数 视频到16384。
Qwen2-VL架构解读：Qwen2-VL: Enhancing Vision-Language Model’s Perceptionof the World at Any Resolution
samoyan的博客,记录技术成长~
09-26 1412
此外，为了减少每个图像的视觉标记，在ViT之后使用了一个简单的MLP层，将相邻的2×2标记压缩成一个标记，并在压缩后的视觉标记的开头和结尾放置特殊的和标记。此外，我们引入了深度为二的3D卷积（Carreira和Zisserman，2017）来处理视频输入，使模型能够处理3D管而不是2D补丁，从而在不增加序列长度的情况下处理更多的视频帧（Arnab等，2021）。在语言处理方面，我们选择了更强大的Qwen2（Yang等，2024）系列语言模型。
VLM 系列——Qwen2 VL——论文解读
TigerZ*的博客
09-30 1294
qwen2-vl 是一系列多模态大型语言模型（MLLM），其中包括2B、7B、72B三个版本，整体采用视觉编码器（标准VIT输出后面接patch merger ）+ LLM形式。比较创新的是统一视觉处理方式（3D CNN统一视频、图片）+图像缩放方式（自适应缩放）+3D LLM位置编码。能够处理包括文本、图像在内的多种数据类型，具备图片描述、单图文问答、 多图问对话、视频理解对话 、json格式、多语言、agent、高清图理解（代码编写和debug论文暂时未提）。
【多模态大模型】QWen2.5 VL 论文解读
songxia928_928的博客
03-12 4320
回到文章“Qwen2.5-VL Technical Report”，文章介绍了Qwen2.5-VL视觉语言模型，通过优化架构、改进训练方法和扩充数据，提升多模态理解与交互能力，在多任务中表现出色。研究背景与问题：大视觉语言模型（LVLMs）整合视觉感知和自然语言处理，推动了人工智能在多领域的发展，但当前模型存在计算复杂、上下文理解有限、细粒度视觉感知差和处理不同长度序列表现不稳定等问题。Qwen2.5-VL旨在解决这些问题，探索细粒度感知能力，增强多模态推理，打造更强大的视觉语言模型。贡献架构创新优化。
VLM 系列——Qwen-VL 千问—— 论文解读
TigerZ*的博客
01-28 3421
Qwen-VL表示多任务训练后的模型，Qwen-VL-chat是基于Qwen-VL的指令调优（第三阶段SFT——监督微调）后的视觉语言聊天机器人。
Qwen-VL: 一种多功能的视觉-语言模型，用于理解、定位、文本阅读等
机器学习，深度学习
08-12 1839
在这项工作中，介绍了 Qwen-VL 系列，一系列大规模的视觉-语言模型（LVLMs），旨在感知和理解文本与图像。
多模态模型基础
谁怕平生太急
06-04 2357
ViT的位置编码：https://blog.youkuaiyun.com/qq_44166630/article/details/127429697QwenVL发布：https://qwenlm.github.io/zh/blog/qwen-vl/
千问系列2--Qwen2-VL
orangerfun的博客
02-11 257
Qwen2-VL是Qwen-VL的改进版，主要改进点如下：（1），将不同大小分辨率的图片处理成不同数量的视觉 token，从而与人类的视觉感知相似，模型可以生成更加有效和准确的视觉表征（2）使用(M-RoPE)，促进位置信息与文本、图像、视频等模态更加有效的融合（3）使用，增强模型的视觉感知能力Qwen2-VL相比Qwen-VL在视觉理解能力上更加强大，能够理解超过20分钟的长视频，并且支持多语言，除了中文和英文外还支持欧洲语言、韩语、日语等。
【论文小记】Qwen-VL
Cocolada 的博客
01-23 901
该文为阿里的 Qwen 系列的视觉拓展。以下仅为个人理解，请以原文为准。
ollama部署 qwen2.5-vl:3b
05-21
### 如何在Ollama中部署Qwen2.5-VL:3b模型 要在Ollama中成功部署Qwen2.5-VL:3b模型，可以按照以下方法操作： #### 1. 安装并配置Ollama环境 确保已经正确安装了Ollama工具链。如果尚未完成此步骤，可以通过官方文档中的指导来安装Ollama[^4]。 #### 2. 获取Qwen2.5-VL:3b模型文件 由于Qwen2.5-VL系列模型可能并未直接集成到Ollama默认的模型列表中，因此需要手动获取该模型的GGUF格式文件。以下是具体的操作流程： - 创建目标存储目录用于放置模型文件： ```bash mkdir -p ~/qwen2.5-vl-3b && cd ~/qwen2.5-vl-3b ``` - 下载对应的GGUF格式模型文件（假设URL有效）。注意替换为实际可用的下载地址： ```bash wget https://example.com/path/to/qwen2.5-vl-3b.Q8_0.gguf ``` #### 3. 编写Modelfile定义文件 为了使Ollama能够识别新引入的自定义模型，需编写一个`Modelfile`描述文件。其基本结构如下所示： ```plaintext FROM ./qwen2.5-vl-3b.Q8_0.gguf PARAMETER temperature 0.7 PARAMETER top_k 40 PARAMETER top_p 0.9 PARAMETER repeat_penalty 1.1 PARAMETER max_tokens 8192 ``` 保存上述内容至当前路径下的名为`Modelfile`的纯文本文件中。 #### 4. 导入模型至Ollama系统 利用之前准备好的`Modelfile`文件向Ollama注册新的Qwen2.5-VL:3b实例： ```bash ollama create qwen2.5-vl-3b -f Modelfile ``` #### 5. 启动与测试模型服务 最后一步就是激活刚添加进去的新模型，并验证能否正常工作。 - 基于GPU硬件加速启动服务端口监听进程： ```bash nohup ollama serve > /var/log/ollama.log 2>&1 & ``` - 调用RESTful API接口发起请求示例代码片段（Python实现方式为例）： ```python import requests url = "http://localhost:11434/api/generate" payload = { "model": "qwen2.5-vl-3b", "prompt": "请解释一下量子计算的基本原理。", "max_length": 512, "temperature": 0.7 } response = requests.post(url, json=payload).json() print(response['content']) ``` 通过以上几个阶段的努力之后，应该就可以顺利地基于Ollama框架加载运行起Qwen2.5-VL:3b版本的大规模预训练跨模态对话型AI模型啦！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

HERODING77

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值