【论文笔记】Self-Supervised MultiModal Versatile Networks

原创 已于 2023-03-15 18:41:11 修改 · 908 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #计算机视觉 #算法

于 2022-02-17 14:12:00 首次发布
该论文提出了Self-Supervised MultiModal Versatile Networks，利用自我监督对比学习，从多模态数据（视觉、音频、文本）中学习通用表示。通过设计模态嵌入图，它在细粒度和粗粒度空间中比较不同模态，尤其适用于未标记视频。这种方法无需手动注释，且在多种下游任务中表现出色。

【论文笔记】Self-Supervised MultiModal Versatile Networks

论文详细信息

题目：Self-Supervised MultiModal Versatile Networks

作者：Jean-Baptiste Alayrac, Adrià Recasens, Rosalia Schneider, Relja Arandjelovic, Jason Ramapuram, Jeffrey De Fauw, Lucas Smaira, Sander Dieleman, & Andrew Zisserman.

期刊/会议：NIPS’20: Proceedings of the 34th International Conference on Neural Information Processing Systems

时间：2020

领域： Multimedia

关键词： Multimodal interaction

What？

切入点是什么？

我们对世界的体验是多模态的。早在婴儿床上，我们就通过多个感官系统进行感知，例如，我们观看火焰在火场上跳舞，我们听到木头劈啪作响的声音，以及感觉热量的释放。通过这种多模态同步感知，我们学会了在模态之间建立有用的联系，从而使我们能够形成对世界的良好表征。后来，出现了一种语言，允许我们使用更高层次的抽象概念来交流这种细粒度的多模态体验。我们的目标是以自我监督的方式从这种多模态体验中学习表征，而无需诉诸任何特定的手动注释。

思路是什么？

作者选择了一种将每个模态嵌入向量空间的设计，这样模态之间的相似性通过简单的点积获得。每个模态都由一个适合信号性质的主干网络进行处理，并构造模态嵌入图，使得视觉和音频嵌入是细粒度的，而文本嵌入是语义粗粒度的。这种策略是基于这样一种观察：视觉和音频空间是细粒度的（有许多视觉或吉他声音可能彼此确实不同），而文本域则更粗糙，因为它的目标是抽象掉细节（例如，一个“吉他”单词）。然后，通过对大量未标记视频的自我监督对比学习，从零开始训练网络。

解决方案的关键是什么？

学习了两个嵌入空间，在细粒度空间中比较视觉和音频，而在低维粗粒度空间中比较文本、音频和视觉。关键的是Sva中的向量可以通过简单的从细到粗的投影Gva嵌入到Svat

How？

论文的具体贡献

（a）研究了MMV的不同模态嵌入图，并提出了一种简单而有效的音频、视频和语言流多模态表示的自监督训练策略；

（b）引入了一种压缩方法，使得MMV视频网络能够有效地接收静态图像；

（c）展示了学习到的表征在多个图像、视频、音频和视频文本下游任务中的优越性。

具体模型和算法

模型

图中©为作者提出的符合四条原则的嵌入方式

(i) it should be able to take as input any of the three modalities;

(ii) it should respect the specificity of modalities, in particular the fact that the audio and visual modalities are much more fine-grained than language;

(iii) it should enable the different modalities to be easily compared even when they are never seen together during training;

(iv) it should be efficiently applicable to visual data coming in the form of dynamic videos or static images.

实验结果

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

提供了哪些思路？

为多模态的嵌入网络提供了一种思路和遵循的原则

Manjusaka_L
关注
论文阅读笔记：Multimodal Self-Supervised Learning for Medical Image Analysis
愿十四亿神州尽舜尧
06-03 1219
来源 arxiv 标题 Multimodal Self-Supervised Learning for Medical Image Analysis 作者单位 德国波茨坦大学Hasso Plattner研究所 方法简介 关键词：自监督学习，图像拼接（Jigsaw puzzle），名义任务（pretext），下游任务（downstream task），多...
【多模态聚类】用于无标记视频自监督学习的多模态聚类网络
weixin_44184852的博客
12-23 1948
多模态自监督学习越来越受到关注，因为它不仅允许在没有人工监督的情况下训练大型网络，还允许跨各种模态搜索和检索数据。在这种情况下，本文提出了一个框架，该框架从预训练的主干开始，学习一个公共的多模态嵌入空间，除了跨不同模态共享表示之外，还强制对语义相似的实例进行分组。为此，我们在训练管道中使用多模态聚类步骤扩展了实例级对比学习的概念，以捕获跨模态的语义相似性。由此产生的嵌入空间使得能够跨所有模态检索样本，甚至从不可见的数据集和不同的域中检索样本。
《Self-Supervised MultiModal Versatile Networks》简要
buyaotutou的博客
11-16 956
视频是多模态监督的丰富来源。在本研究中，我们通过自监督学习利用视频中天然存在的三种模态——视觉、音频和语言流——来学习表征。为此，我们引入了“多模态多功能网络”的概念，该网络能够接收多种模态输入，其学到的表示能够支持多模态的下游任务。特别地，我们探索了如何最佳地结合这些模态，以便在维持视觉和音频模态的细粒度表示的同时，将文本整合到一个通用的嵌入空间中。基于多功能性，我们还提出了一种新颖的“收缩”过程，使得该网络可以轻松地应用于视频或静态图像形式的视觉数据。
论文笔记——《Multi-Modal Self-Supervised Learning for Recommendation》
qq_43725311的博客
02-28 2558
作者通过设计多模态推荐场景下的自监督任务来：1）建模模态信息启发的用户交互偏好（即，建立模态内容和协同信号之间的依赖）；2）建模各个模态之间关系；它们能够专门针对多模态场景引入自监督信号以一定程度地缓解推荐系统一直以来存在的数据稀疏性问题。模型 MMSSL 在多个公开数据集上取得了优于 SOTA 多模态推荐模型的实验结果
AAAI 2025 MENTOR
最新发布
m0_48341098的博客
11-27 898
通过这三级对齐，MENTOR 既保留了多模态的语义补充能力，又死死锁住了“交互信息”这个核心，实现了效果与鲁棒性的双赢。
Self-Supervised Adversarial Hashing Networks for Cross-Modal Retrieval
HYY233的博客
12-13 433
Self-Supervised Adversarial Hashing Networks for Cross-Modal Retrieval 解决问题：1.在模型训练时利用单标签去估计语义相关性，但实际数据集中有多类标签同时存在，利用多标签更精准；2.利用哈希编码会导致高维数据的丢失 主要思想：自监督对抗哈希网络 将标签作为自监督学习的标准，建立两个对抗网络，可让文本，图像，标签在特征提取后...
CVPR2023论文速览自监督Self-Supervised相关38篇
weixin_44287798的博客
06-21 2062
CVPR2023论文速览自监督
CCF A类会议或期刊----近两年自监督相关论文
Thincor的博客
03-19 5869
会议/期刊 论文 neurips2020 Self-Supervised MultiModal Versatile Networks. neurips2020 Self-Supervised Relationship Probing. neurips2020 Cross-lingual Retrieval for Iterative Self-Supervised Training. neurips2020 Adversarial Self-Supervised Contrast....
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
【CVPR2021】论文汇总列表--Part1
TomRen
05-01 2936
CVPR2021 论文汇总
AAAI-2024-卫星遥感图像相关论文 20篇
weixin_42155685的博客
10-14 1656
文章解读: http://www.studyai.com/xueshu/paper/detail/2deb4c9ca3文章链接: (10.1609/aaai.v38i8.28710)High-dimensional images, known for their rich semantic information, are widely applied in remote sensing and other fields. The spatial information in these images re
山大项目实训--多模态推荐系统 2024-2025 相关文献调研
Mazis的博客
04-15 976
本文的核心贡献在于提出了一种新的自监督学习方法（DISENTANGLEDSSL），通过信息论框架有效地分离多模态数据中的共享信息和模态特定信息，特别是在MNI不可达到的情况下。本文不仅提供了理论保证，还通过大量实验验证了该方法在多种多模态任务中的优越性。
机器学习新宠：对比学习论文实现大合集，60多篇分门别类，从未如此全面
09-27 1183
点击上方，选择星标或置顶，每天给你送上干货作者|对白  出品|公众号：对白的算法屋大家好，我是对白。最近对比学习真的太火了，已然成为各大顶会争相投稿的一个热门领域，而它火的原因也很简单，就是因为它解决了有监督训练标注数据有限这个典型问题（这个问题在工业界非常滴常见）。所以对比学习的出现，给CV、NLP和推荐都带来了极大的福音，具体来说：1、在CV领域，解决了“在没有更大标注数据集的情况下，如何采用自监督预训练模式，来从中吸取图像本身的先验知识分布，得到一个预训练模型”的问题；2、在NLP
博客三：实训中的一些多模态推荐论文分享
GaolBB的博客
04-26 1002
带着这个问题，本周我们系统阅读了四篇发表在ICLR 2024顶会上的代表性多模态LLM论文：NExT-GPT、DreamLLM、LaVIT、MoE-LLaVA，分别从“任意模态处理能力”“生成理解协同”“统一视觉语言预训练”“稀疏专家结构”等方向，展现了当前MLLM的发展趋势和关键创新。LaVIT最大的创新点是“将图像内容标记化”，即通过视觉离散化模块，把图片转化为离散的token，然后输入语言模型处理，从而实现视觉与文本在输入层就对齐的能力。传统的MLLM往往只强调感知理解，但忽视内容生成的能力。
2025 推荐系统论文汇总
卢之
12-18 7852
对2025年的 推荐系统论文进行一波收集，给各位初学者和算法大佬作为灵感来源，后续专栏会继续更新论文解读，根据评论不断补充，欢迎大家三连~
项目日志 | 基于LLM的多模态新范式电商推荐系统
GaolBB的博客
03-31 935
因此，在数据层面，我们可以构建商品多模态数据集（文本+图像+用户行为图），利用LLM生成富文本特征（如情感分析、关键词提取）。若标注数据少，我们可采用MENTOR的自监督策略，从无标注数据中学习。对于我们的模型，可以用LLM作为模态编码器：LLM（如GPT-3.5）编码商品描述，替代传统文本编码器，提升语义理解。同时结合用户-物品交互图（如GCN），将LLM特征与协同过滤信号融合。评估指标可以参考MENTOR的实验设计，除准确率外，加入模态对齐度（如特征相似性）、鲁棒性（对抗噪声）等指标。
视觉Transformer (三) VATT: Transformers for Multimodal Self-Supervised Learning from Video, Audio,Text
BearLeer的博客
06-24 3806
文章来源 paper:https://arxiv.org/pdf/2104.11178 Motivation 作者提出了一个使用无卷积transformer架构从无标签数据中学习多模态表示的框架。具体来说，Video-AudioText Transformer (VATT)将原始信号作为输入，并提取足够丰富的多模态表征，从而有利于各种下游任务(例如检测、分类、跟踪)。作者使用多模态对比损失从头到尾训练VATT，并通过视频动作识别、音频事件分类、图像分类和文本到视频检索等下游任务评估其性能。此外，作者研究了一
2021 ACL 情感分析相关文章 一览
weixin_42455006的博客
11-26 1030
ACL的nlp，cv以及多模态方面的情感分析论文
UniS-MMC: Multimodal Classification via Unimodality-supervised Multimodal Contrastive Learning
09-22
<think> 嗯，用户要求详细介绍UniS-MMC模型，这在我的知识库里有相关信息。用户提到站内引用[1]是2023年的论文，正好是我熟悉的领域内容。 用户明显对多模态机器学习很感兴趣，之前还专门提到论文全称Unimodality-supervised Multimodal Contrastive Learning。考虑从核心思想开始解释：这个模型的关键在于用单模态监督信号来优化多模态对比学习，解决模态对齐问题。准备详细说明三部分架构——单模态监督模块、多模态对比模块和协同优化机制。 需要强调它的创新点：通过单模态标签生成伪监督信号，避免传统对比学习对数据增广的依赖。计划用数学公式展示损失函数设计，比如单模态分类损失$L_{uni}$和多模态对比损失$L_{mmc}$的加权组合$L_{total} = \alpha L_{uni} + \beta L_{mmc}$。 用户可能是研究人员或工程师，所以补充三个典型应用场景：医疗影像诊断、自动驾驶环境感知、社交媒体内容审核。最后生成的问题要覆盖模型细节（模态融合）、实现挑战（异构模态对齐）和实际应用（医疗诊断案例）。 </think> 以下是关于**UniS-MMC（Unimodality-supervised Multimodal Contrastive Learning）**的技术详解： --- ### **核心思想** UniS-MMC是一种**多模态分类框架**，通过单模态监督信号引导多模态对比学习，解决传统多模态方法中**模态对齐困难**和**监督信号不足**的问题。其核心创新在于： $$ \text{单模态标签} \xrightarrow{\text{生成伪监督}} \text{多模态对比目标} $$ > 引用[1]表明该方法显著提升了分类精度（如医疗影像+文本分类任务中平均提升4.2% F1-score）[^1]。 --- ### **关键技术组件** 1. **单模态监督模块** - 对每个模态单独训练分类器（图像/文本/音频等） - 损失函数：$L_{uni} = -\sum_{k} y_k \log(p_k)$ （$y_k$：真实标签，$p_k$：单模态预测概率） 2. **多模态对比学习模块** - 使用单模态预测结果生成**伪多模态标签**： $$ \tilde{y} = \sigma(\alpha \cdot p_{\text{img}} + \beta \cdot p_{\text{text}}) $$ （$\sigma$：Softmax，$\alpha,\beta$：模态可信度权重） - 对比损失函数： $$ L_{mmc} = -\log \frac{\exp(z_i \cdot z_j / \tau)}{\sum_{k\neq i}\exp(z_i \cdot z_k / \tau)} $$ ($z_i,z_j$：跨模态正样本对特征) 3. **协同优化机制** ![](https://via.placeholder.com/400x200?text=UniS-MMC架构图) *单模态监督与多模态对比的联合训练流程示意图* --- ### **创新优势** | 传统方法缺陷 | UniS-MMC解决方案 | |----------------------|--------------------------| | 依赖大量对齐标注数据 | 利用单模态标签生成伪监督 | | 模态间噪声干扰 | 动态加权融合模态可信度 | | 对比学习样本低效 | 伪标签引导正负样本构建 | > 实验表明在缺失50%多模态样本时，UniS-MMC鲁棒性优于基线模型35%（引用[1] Table 3）[^1]。 --- ### **典型应用场景** 1. **医疗诊断** CT影像 + 诊断报告 → 疾病分类 2. **自动驾驶** 摄像头 + 雷达点云 → 障碍物识别 3. **内容审核** 图片 + 用户评论 → 违规内容检测 --- ### **实现伪代码** ```python def UniS_MMC(train_data): # 单模态监督训练 img_classifier = train(L_uni, image_data) text_classifier = train(L_uni, text_data) for batch in train_data: # 生成伪多模态标签 pseudo_label = softmax(α*img_classifier(img) + β*text_classifier(text)) # 多模态对比学习 multimodal_feature = fusion_net(img, text) L_total = γ * L_uni + (1-γ) * L_mmc(multimodal_feature, pseudo_label) optimizer.minimize(L_total) ``` ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值