多模态（multi-modal）、多视图（multi-view）、多媒体（Multimedia）的区别

已于 2024-12-05 10:44:32 修改
阅读量846 收藏 1
点赞数 3
文章标签： 机器学习
于 2024-08-19 17:20:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_43811051/article/details/141330269
版权

这三个概念的主要区别在于侧重点不同。
多媒体(multimedia)强调的是媒体：所谓的媒体就是指承载和传输某种信息或物质的载体。可分为五大类：感觉媒体、表示媒体、表现媒体、存储媒体和传输媒体。
多模态(multi-modal)强调的是模态：这个概念最近火起来是因为gpt和sora，一个语言大模型一个视频大模型。在计算机领域，模态这个词被解释成不同融合来自不同感官的数据和信息，图片、文字、视频。模态可以理解为人接受信息的特定方式。具体可参考：多模态学习综述
多视图(multi-view)强调的是视图：这里的视图是事物的某一个表现方面,是多个视角下采集获取的数据，是对同一事物不同角度的描述。最普通的理解如初中学过的一个物体从不同方位看得到的三视图这种概念。

多视图数据来源
来源于不同形态的数据，如不同风格的字体、不同国家的语言
来源于不同数据站点的数据，如不同设备扫描得到的数据、不同种群的数据
来源于不同视角的数据，如一个人不同角度的成像数据
来源于不同特征描述的数据，如数据的边缘、傅里叶、纹理等特征构成的数据
来源于不同模态的数据，如视频可划分为音频、视觉、文本等不同模态构成的数据
来源于不同格式的数据，如不同的图像格式所构成的数据
来源于不同采样下的数据，如数据缺失程度不同所构成的数据、

但其实视图的概念更加的抽象，在多视图中，不同的模态，视频、文字、语音，可以被认为是不同的视图，不同媒体中获取的信息也可以被认为是不同视图，关键在于只要你满足是对同一个物体的描述，都能算多视图。

不同的文献中模态一词的含义不同"狭义的多模态是指人的不同感官,如视觉,听觉,嗅觉，触觉等;视觉所对应的图像或文字信息,和听觉所对应的声音信息,就构成多模态数据;广义的模态数据是指对于一个事物,通过不同的方法收集到的数据"例如在人脸识别中,可能收集到人脸的2D图像和3D形状模型,这就构成人脸数据的两个模态;在指纹识别中,用不同传感器采集的一个指纹的多种不同印痕,构成指纹数据的多个模态;对比多模态数据和多视图数据的概念可以看出,多视图的含义里包含了多模态,多视图可以表示更广泛的实际问题
参考： 多视图学习笔记

多视图可以包含多模态，多视图更理论，多模态更实际，多媒体更物质

Final 布鸽
关注
多视图学习（multiview learning）
weixin_30797199的博客
10-30 3584
多视图学习（multi-view learning） 前期吹牛：今天这一章我们就是来吹牛的，刚开始老板在和我说什么叫多视图学习的时候，我的脑海中是这么理解的：我们在欣赏妹子福利照片的时候，不能只看45度角的吧，要不那样岂不是都是美女了，这还得了。所以我们要看各个角度的照片，打击盗版美女，给大家创建一个真诚的少点欺骗的和谐世界。所以说，多视图学习就是360度，全方位无死角的欣赏（学习）然后得到最接...
【多视图聚类】Reconsidering Representation Alignment for Multi-view Clustering
weixin_44184852的博客
08-29 1723
对齐视图表示的分布是当今用于深度多视图聚类的最先进模型的核心组件。然而，我们发现了nävely对齐表示分布的几个缺点。我们证明了这些缺点既导致表示空间中可分离的聚类更少，又抑制了模型对视图进行优先排序的能力。基于这些观察，我们开发了一个简单的深度多视图聚类基线模型。我们的基线模型完全避免了表示对齐，同时表现类似于或优于当前技术水平。我们还通过添加对比学习组件来扩展我们的基线模型。这引入了选择性对齐过程，保留了模型对视图进行优先排序的能力。
多模态multi-modal 与多视图multi-view
MasterQKK
04-12 1444
多模态输出multi-modal outputs与多视图学习multi-view theorymulti-modalmulti-view总结 multi-modal multi-view 总结 多视图包含多模态，多视图更接近机器学习 深度学习中集成学习Success的原因是: 因为(图像)数据存在多视图
多模态（multi-modal）和多视图（multi-view）有什么区别？
学无止境、积少成多、厚积薄发
08-25 7995
简单来说 multiview一般指同一个对象不同的表现形式。比如一个3D物体不同角度或者不同频谱下的成像图像。 multimodality指不同模态，它们所表现的可能是不同的对象，但之间有联系。比如文本和对应的音视频。这两者之间最关键的区别是后者可能不是描述完全一样的物体或对象，所以往往需要有个预对齐或者建立两者间的对应关系，既correspondence 以看电视为例，A在看视频，B在听声音，C在看字幕，ABC接收的数据放在一起叫做多模态； A在近处正对着看，B在远处看，C在左边看，D在右边看，ABCD接
多模态（multi-modal）和多视图（multi-view）
qq_40929682的博客
11-30 3545
多模态：例如A在看视频，B在听声音，C在看字幕，将ABC不同性质的数据放在一起叫做多模态； 多视图：A在近处正对着看，B在远处看，C在左边看，D在右边看，ABCD接收的相同性质的信息放在一起叫做多视图。 主要是看各路数据的本质形态是否存在区别。例如采用不同网络或者特征提取器处理过的原始输入得到的结果也会称为多模态数据。 ...
多视图与多模态之争
Y
06-28 4463
本周6看了CCF-AI走进高校系列报告，在看天津大学张长青副教授做多视图学习报告时。在提问环节，其中有一个有意思的问题。多视图与多模态有什么区别？传统的机器学习一般而言基于单视图建模分析，也有学者称多视图为多模态。下面说一下笔者自己的理解，仅当了解，无论对错。 先看一下大佬的回答： 这个问题是深圳大学王熙照教授提出的。王老师以一个深圳大学博士生毕业生答案进行侧面回答：多个传感器获取到的数据是多模态，而单个传感器在不同位置获取到的数据是多视图的。 张老师的回答：多视图包含多模态，多视图更接近机器学习，更
港大联合微信推出DiffMM：扩散模型重塑多模态推荐系统的全新范式
Paper weekly
07-17 1097
香港大学黄超教授领导的数据智能实验室，与微信研发团队联合开发了一种基于扩散模型的全新多模态推荐系统范式 - DiffMM。这项创新性成果融合了扩散模型技术，能够有效利用多种模态数据，为用户提供个性化、精准的多媒体内容推荐服务。论文标题：DiffMM: Multi-Modal Diffusion Model for Recommendation论文链接：https://arxiv.org/abs/2...
【AI视野·今日CV 计算机视觉论文速览 第228期】Tue, 29 Jun 2021
TomRen
06-29 2871
AI视野·今日CS.CV 计算机视觉论文速览 Tue, 29 Jun 2021 (showing first 100 of 120 entries) Totally 100 papers ????上期速览✈更多精彩请移步主页 Interesting: ????, (from ) ????, (from ) ????, (from ) ????, (from ) ????, (from ) ????, (from ) ????, (from ) ????, (from )
【AI视野·今日CV 计算机视觉论文速览 第189期】Fri, 1 Jan 2021
TomRen
01-03 4532
AI视野·今日CS.CV 计算机视觉论文速览 --- Fri, 1 Jan 2021 -- 点云分割、点云匹配，视角变换、光场、球卷积、稀疏卷积、各种数据集
Multi-view Face Detection Using Deep Convolutional Neural Networks
09-11
Multi-view Face Detection Using Deep Convolutional Neural Networks
Learning Representation for Multi-View Data Analysis
12-23
This book equips readers to handle complex multi-view data representation, centered around several major visual applications, sharing many tips and insights through a unified learning framework. This framework is able to model most existing multi-view learning and domain adaptation, enriching readers’ understanding from their similarity, and differences based on data organization and problem settings, as well as the research goal. A comprehensive review exhaustively provides the key recent research on multi-view data analysis, i.e., multi-view clustering, multi-view classification, zero-shot learning, and domain adaption. More practical challenges in multi-view data analysis are discussed including incomplete, unbalanced and large-scale multi-view learning. Learning Representation for Multi-View Data Analysis covers a wide range of applications in the research fields of big data, human-centered computing, pattern recognition, digital marketing, web mining, and computer vision.
（十三：2020.08.28）CVPR 2015 追踪之论文纲要（译）
Jojo论文基地
08-28 3103
CVPR 2020 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这602篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译以方便我第一次筛选，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录
多视图 (Multi-view) 与多模态 (Multi-modal)
最新发布
dundunmm的博客
12-27 1706
多视图学习关注从同一数据对象的多个表现或角度提取信息；多模态学习则涉及从不同类型的数据（如文本、图像、音频）中提取信息，进行融合和学习。两者都是为了从多方面提取信息和提升任务性能，但多视图主要是在同类数据的不同角度上进行处理，而多模态则在不同类型的数据间进行整合。
Multi-Modal
Rainbow
04-09 654
文章目录Multimodalmotivationproblem研究方向多模态表示学习 Multimodal Representation模态转化 Translation对齐 Alignment多模态融合 Multimodal Fusion\多源信息融合（Multi-source Information Fusion）\多传感器融合（Multi-sensor Fusion)method协同学习 Co-learning Multimodal https://zhuanlan.zhihu.com/p/53511
Detecting and Grounding Multi-Modal Media Manipulation
weixin_43780665的博客
10-13 1917
错误信息已经成为一个紧迫的问题。虚假媒体，无论是视觉形式还是文字形式，都在网络上广泛存在。虽然已经提出了各种深度伪造检测和文本假新闻检测方法，但它们仅针对基于二元分类的单模态伪造而设计，无法对不同模态的细微伪造痕迹进行分析和推理。本文重点研究了多模态伪造媒体的一个新的研究问题，即多模态媒体操纵的检测和定位(DGM4)。DGM4的目的不仅是检测多模态媒体的真实性，而且要对被操纵的内容(即图像边界框和文本标记)进行定位，这需要对多模态媒体操纵进行更深层次的推理。
GNN Algorithms(9): 多模态Multi-Modal、多任务Multi-Task
天狼啸月1990的博客
07-17 1418
多任务学习 (Multi-Task Learning, MTL)是一种将多个相关任务学习到一个模型中的方法，以提高模型的泛化能力和学习效率。在CV领域，多任务学习常用于图像分类、目标检测、语义分割等任务的联合学习。 多模态学习 (Multi-Modal Learning, MML)是一种将多种类型的数据(e.g. image, text, audio, v ideo等)作为输入的学习方法，以提高模型的表现力和泛化能力。
多视图学习 (Multi-View Learning)
热门推荐
CarpeDiem
03-08 3万+
多视角/多视图学习（Multi-view learning）是陶大成提出的一个研究方向。我们都知道，在机器学习中样本可以用不同的特征（如图片可以用LBP、SIFT等特征）来表示，或者从不同的角度进行观察（如从前后左右观察一个对象），甚至是采用不同的传感器来观测（如RGB摄像头，Depth摄像头），这些不同的观测手段、角度或特征在多视角学习中称为“视角”。多视角学习通过对不同的视角进行统一分析和研究，希望能够得到更好的分类或聚类等等的效果。
多视图学习（Multi-view Learning，MVL）
gaesarGatt的博客
12-08 1401
多视图学习（Multi-view Learning，MVL）是一种利用来自不同视角或不同类型数据的学习方法，特别是在涉及不同数据源或模态的情况下，能够提供更多的、互补的信息。多视图学习的主要目标是通过不同视角的学习来提高学习任务的准确性和鲁棒性，尤其在处理高维数据、异构数据时，能够显著提升模型的性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值