Task-Oriented Multi-Modal Mutual Leaning for Vision-Language Models

已于 2024-03-15 10:58:14 修改
阅读量299 收藏
点赞数
分类专栏： Prompt in CV 文章标签： 计算机视觉 迁移学习 人工智能 深度学习
于 2023-05-21 21:27:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/LuvLive/article/details/130751793
版权
本文提出了一种新的面向任务的多模态交互学习方法，通过类别感知文本提示(CTP)和文本引导特征调优(TFT)增强预训练的视语模型，提升了其在下游任务的泛化性能。CTP利用图像信息生成更精确的提示，TFT则引导图像特征关注任务相关区域，两者结合避免了学习歧义，提高了未知类别的分类精度。实验结果显示，与现有方法相比，本文的方法在11个分类基准上实现了性能提升。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

Abstract

Instruction

Related work

Method

Task-Oriented Mutual Learning Method

Class-aware Text Prompts (CTP) 

Text-guided Feature Tuning (TFT)

Augmented contrastive loss function

Experiment

Details

Generalization From Base to New Classes

Few-Shot Classification

Cross-Dataset Transfer

Domain Generalization 

Ablation Analysis

Effectiveness of each module

Comparison of different structure design of multi-modal mutual learning.

Sensitivity Analysis of λ

Conclusion

Abstract

Prompt learning 已成为使大型预训练视语模型适应下游任务最有效范例之一。目前最先进的方法，如CoOp和ProDA，倾向于采用软提示(soft prompt)来为每个特定任务学习适当的提示。最近的CoCoOp通过image-conditional prompt进一步提高了base-to-new的泛化性能。然而实验表明：它直接将相同的图像语义融合到不同标签的提示中，并显著削弱了不同类别之间的区分。

回顾之前的方法：

CLIP：

它做 zero-shot 时的 prompt 形式为 "a photo of a [CLASS]." 其中[CLASS]被替换为具体的class label。做推理的时候：K个类别的prompt通过text encoder生成K个文本特征 t，来一张图片则经过image encoder生成特征 f，然后计算 f 

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Mutual Prompt Leaning for Vision Language Models
LuvLive的博客
08-17 58
V-L预训练模型包括文本和视觉两个子分支，现有的提示学习方法主要分为提示学习和提示学习。最近的文本提示学习方法通过设计包含文本和图像领域知识的，取得了良好的性能。然而，由于语义融合的粒度不同，在每个文本提示token中不加区别地添加全局图像信息会导致。鉴于此，我们提出了一种fine-grained text prompt (FTP)，它将图像的整体信息分解成更细粒度的语义，并将它们合并到相应的tokens中。另一方面，目前的视觉提示学习往往是基于随机初始化或基于图像条件的，忽略了文本的语义信息。我们。
论文笔记：coOP：Learning to Prompt for Vision-Language Models详解
zcyzcyjava的博客
09-11 8885
coOP是一个专门用于调整CLIP-like视觉语言模型的简单方法，用于下游图像识别。具体来说，CoOp用可学习的向量对提示的上下文词进行建模，而整个预训练的参数则保持固定。为了处理不同的图像识别任务，我们提供了两个可实现的CoOp：统一语境和特定类别的语境。
task-oriented dialogues 面向任务型对话综述
qq_15821487的博客
07-16 1824
【原创】task-oriented dialogues 面向任务型对话综述 </h1> <div class="clear"></div> <div class="postBody"> <div id="cnblogs_post_body" class="blogpost-body blogpost-body-html"> task-oriented对话系统主要是为解决特定任务的，比如订票任务（订机票，电影票等），预...
【多模态】13、Vision-Language 模型在视觉任务中的调研
呆呆的猫的博客
06-17 2617
本文主要介绍了 vision-language 模型在视觉任务中的使用
Prompt Vision Transformer for Domain Generalization
LuvLive的博客
04-04 383
Prompt Vision Transformer for Domain Generalization
[AAAI 2023 Oral] : Multi-modal 多模态 / Vision-language 视觉语言收录论文集合（42篇）
二十四桥明月夜的博客
02-17 3637
内容主要包括AAAI 2023 Oral中Multi-modal 多模态 / Vision-language 视觉语言 相关的Paper，若有遗漏欢迎补充。
Python项目--基于计算机视觉的手势识别控制系统
exlink2012的专栏
04-23 2625
随着人机交互技术的快速发展，传统的键盘、鼠标等输入设备已经不能满足人们对自然、直观交互的需求。手势识别作为一种非接触式的人机交互方式，具有操作自然、交互直观的特点，在智能家居、游戏控制、虚拟现实等领域有着广泛的应用前景。 本项目旨在开发一个基于计算机视觉的手势识别控制系统，通过摄像头捕获用户的手部动作，实时识别手势类型，并将识别结果转化为相应的控制命令，实现对计算机或其他设备的非接触式控制。
图解YOLO（You Only Look Once）目标检测（v1-v5）
weixin_71288092的博客
04-26 1355
YOLO属于深度学习经典检测方法中的单阶段（one - stage）类型，与两阶段（two - stage，如Faster - rcnn、Mask - Rcnn系列）方法相对。
基于计算机视觉的行为检测：从原理到工业实践
我是赛博AI Lewis
04-20 1114
行为检测（Action Recognition）是计算机视觉领域的关键任务，旨在通过分析视频序列理解人类动作的时空特征。能力上——系统需要捕捉动作的起始、发展和结束全过程，同时适应不同持续时间（0.1秒至数分钟）的行为特征。A[多视角摄像头] --> B[视频流解码]C --> D[安全帽/反光衣识别]G --> H[GRU时序分析]C --> E[人体姿态估计]E --> G[行为分类模型]H --> I[危险行为预警]准确率(Kinetics)D --> F[违规报警]计算量(TFLOPs)
《计算机视觉度量：从特征描述到深度学习》—图片多模态CLIP,BLIP2,DINOv2特征提取综述
qq_17767255的博客
04-28 339
特征的提取都是基于VIT的基础网络，把图片切割成Patch(补丁)，通过大模型的推理获取关于每个Patch的位置和图片数据的描述特征。模型的实现原理是通过提取和训练图像的特征数据，和文本数据。最突出的结论是，目前分类，目标检测，分割模型的TOP1都是多模态的基础模型开发的。最早的图片大模型是OpenAI提出的CLIP，他是一套基于图片数据和文本数据对齐的模型。2025年4月为止，在近两年的发展过程中，多模态基础模型也百花齐放，目前主流的除了CLIP以外，还有BLIP2和DINOv2等主流的模型。
YOLOv11改进-双Backbone架构：利用双backbone提高yolo11目标检测的精度
qq_64693987的博客
04-24 1597
YOLOv11 的 Backbone 基于 CSPNet 的改进版本，通过引入 C3K2 模块、C2PSA等进一步优化了特征流的传递效率，同时减少冗余计算，提高了模型的参数利用率。目前主流的设计路径主要包括三类：CNN 与 CNN 的轻量级组合、CNN 与 Transformer 的语义增强组合，以及 CNN 与 Mamba 的状态建模组合。同时使用CNN+CNN双backbone的网络结构中，可以对CNN结构进行改进，如再其中一个分支中添加频域、注意力机制等操作，增强模型的边缘、语义特征等。
【计算机视觉】Bayer Pattern与Demosaic算法详解：从传感器原始数据到彩色图像
最新发布
欢迎来到我的优快云个人博客主页！
04-28 588
本文详细介绍了Bayer Pattern（拜耳阵列）的原理和常见的Demosaic（去马赛克）算法等。在现代数字成像系统中，图像传感器通常采用Bayer Pattern（拜耳阵列）来捕获彩色信息。由于单个像素只能感知一种颜色（R、G或B），因此需要通过Demosaic（去马赛克）算法重建完整的RGB图像。
目标检测篇---faster R-CNN
早睡早起吧
04-24 1097
方面内容❓发现的问题速度瓶颈Fast R-CNN检测网络本身很快 (GPU)，但其依赖的外部区域提议算法(如) 通常在CPU上运行，速度极慢(可能耗时数秒)，成为整个目标检测系统的绝对性能瓶颈。计算分离与冗余: 区域提议的计算过程 (基于底层图像特征) 与下游检测网络使用的深度卷积特征是完全分离的，未能共享计算，存在明显的计算冗余和效率低下问题 (“missed opportunity for sharing computation”)。非端到端系统: 由于区域提议是外部独立。
【计算机视觉】CV实战项目- 深度解析FaceAI：一款全能的人脸检测与图像处理工具库
weixin_43988131的博客
04-24 1250
深度解析FaceAI：一款全能的人脸检测与图像处理工具库
【计算机视觉】三种图像质量评价指标详解：PSNR、SSIM与SAM
欢迎来到我的优快云个人博客主页！
04-28 748
本文详细介绍了三种图像质量的评价指标：PSNR、SSIM与常用于评价多光谱图像光谱相似度的SAM。
光谱相机如何提升目标检测与识别精度
Villon的博客
04-25 677
光谱相机通过‌硬件优化（波段/传感器）→ 数据清洗（校正/配准）→ 特征增强（指数/解混）→ 算法融合（空谱联合）‌的完整链路，显著提升目标检测与识别精度，尤其在材质鉴别、小目标及复杂环境中优势突出。实际应用中需权衡光谱分辨率、计算成本与实时性需求。
2025年计算机视觉与智能通信国际会议（ICCVIC 2025）
2403_89423032的博客
04-24 666
2025年计算机视觉与智能通信国际大会定在中国杭州举行。
目标检测YOLO实战应用案例100讲- 无人机平台下露天目标检测与计数
qq_36130719的博客
04-28 161
无人机在一系列民用领域如农林植保、生产监控、地理测绘、治安巡查、应急救援等领 域应用广泛。随着硬件性能的不断提高，无人机和计算机视觉技术的联系日益紧密。与街道 固定的摄像头相比，无人机有着更强的灵活性，能够对任意范围的公共场所、工厂、道路交 通进行监控和侦查，而露天目标特别是人群和车辆的检测与计数是无人机在应急救援、生产 监控、治安巡查等领域的重要研究方向之一，具有重要的研究意义。
【计算机视觉】CV实战项目-高分辨率遥感图像语义分割：High-Resolution-Remote-Sensing-Semantic-Segmentation
weixin_43988131的博客
04-27 694
高分辨率遥感图像语义分割技术解析与实战指南
MaPLe: Multi-modal Prompt Learning for Vision-Language Models
04-03
好的，用户想了解关于Multi-modal Prompt Learning for Vision-Language Models（MaPLe）的研究或实现。首先，我需要回忆一下相关文献，特别是最近的多模态提示学习方法。用户提到了LAMM，这是一个标签对齐的方法，...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值