多模态（multi-modal）和多视图（multi-view）有什么区别？

原创 已于 2022-09-19 13:50:56 修改 · 8.3k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#计算机视觉 #人工智能

于 2020-08-25 09:20:32 首次发布
本文解析了多视图与多模态数据的概念，对比了两者之间的关键区别，通过实例说明了多视图是指同一对象的不同表现形式，而多模态则涉及不同形态数据之间的关联。
部署运行你感兴趣的模型镜像

简单来说 multiview一般指同一个对象不同的表现形式。比如一个3D物体不同角度或者不同频谱下的成像图像。

multimodality指不同模态，它们所表现的可能是不同的对象，但之间有联系。比如文本和对应的音视频。这两者之间最关键的区别是后者可能不是描述完全一样的物体或对象，所以往往需要有个预对齐或者建立两者间的对应关系，既correspondence

以看电视为例，A在看视频，B在听声音，C在看字幕，ABC接收的数据放在一起叫做多模态；

A在近处正对着看，B在远处看，C在左边看，D在右边看，ABCD接收的视觉信息放在一起叫做多视图。

当然在具体使用时可能不会刚好这样区分，例如有的采用不同网络或者特征提取器处理过的原始输入得到的结果也会称为多模态数据。最主要还是看当前各路数据是否存在本质上的形态区别。

参考
https://www.zhihu.com/question/364465426
https://zhuanlan.zhihu.com/p/473760099

您可能感兴趣的与本文相关的镜像

Qwen3-VL-30B

Qwen3-VL-30B

图文对话
Qwen3-VL

Qwen3-VL是迄今为止 Qwen 系列中最强大的视觉-语言模型，这一代在各个方面都进行了全面升级：更优秀的文本理解和生成、更深入的视觉感知和推理、扩展的上下文长度、增强的空间和视频动态理解能力，以及更强的代理交互能力

多视图与多模态之争
Y
06-28 4676
本周6看了CCF-AI走进高校系列报告，在看天津大学张长青副教授做多视图学习报告时。在提问环节，其中有一个有意思的问题。多视图与多模态有什么区别？传统的机器学习一般而言基于单视图建模分析，也有学者称多视图为多模态。下面说一下笔者自己的理解，仅当了解，无论对错。 先看一下大佬的回答： 这个问题是深圳大学王熙照教授提出的。王老师以一个深圳大学博士生毕业生答案进行侧面回答：多个传感器获取到的数据是多模态，而单个传感器在不同位置获取到的数据是多视图的。 张老师的回答：多视图包含多模态，多视图更接近机器学习，更
多模态multi-modal 与多视图multi-view
MasterQKK
04-12 1541
多模态输出multi-modal outputs与多视图学习multi-view theorymulti-modalmulti-view总结 multi-modal multi-view 总结 多视图包含多模态，多视图更接近机器学习 深度学习中集成学习Success的原因是: 因为(图像)数据存在多视图
【必学收藏】什么是多模态？一文带你读懂AI的“感官融合”技术！零基础小白收藏这一篇就够了！！
2401_85325557的博客
11-14 1032
多模态技术整合图像、文本、语音等多源信息，通过特征提取与融合赋予机器"类人"感知能力。它提高AI理解能力和内容生成质量，应用于智能助手、自动驾驶、医疗诊断等领域。多模态是推动AI跨越认知鸿沟的核心驱动力，让未来AI实现"会看、会听、会说、会理解"的综合智能。
奇迹客户端模型查看软件 MUModelView0.02
03-25
奇迹客户端模型查看软件 MUModelView0.02 将客户端的data文件夹复制到MUModelView0.02的目录下覆盖data
多模态（multi-modal）和多视图（multi-view）
qq_40929682的博客
11-30 3620
多模态：例如A在看视频，B在听声音，C在看字幕，将ABC不同性质的数据放在一起叫做多模态； 多视图：A在近处正对着看，B在远处看，C在左边看，D在右边看，ABCD接收的相同性质的信息放在一起叫做多视图。 主要是看各路数据的本质形态是否存在区别。例如采用不同网络或者特征提取器处理过的原始输入得到的结果也会称为多模态数据。 ...
【多模态融合】SparseFusion: Fusing Multi-Modal Sparse Representations for Multi-Sensor 3D Object Detection
cjy_colorful0806的博客
05-27 1107
自动驾驶汽车依靠激光雷达和摄像头等多个传感器来感知周围环境。然而，两个传感器获取的同一物理场景的表示通常存在显着差异，因为 LiDAR 传感器使用 360 度旋转捕获点云，而相机从没有深度感的透视图捕获图像。这阻碍了激光雷达和相机模式的有效和高效融合。为了应对这一挑战，提出了多传感器融合算法来寻找多模态数据之间的对应关系，将它们转换并融合到统一的场景表示空间中。
（多模态）MedM2G: Unifying Medical Multi-Modal Generation via CrossGuided Diffusion with Visual Invariant
sinat_25267157的博客
08-29 1471
医学生成模型以其高质量的样本生成能力而闻名，加速了医学应用的快速增长。然而，目前的研究主要集中在针对不同医疗任务的单独医学生成模型上，受限于医学多模态知识的不足，制约了医学的综合诊断。在本文中，我们提出MedM2G，即医学多模态生成框架，其关键创新是在统一模型内对齐、提取和生成医学多模态。超越单一或两种医疗模式，我们通过统一空间中的中心对齐方法有效地对齐医疗多模式。值得注意的是，我们的框架通过保留每个成像模态的医学视觉不变性来提取有价值的临床知识，从而增强了多模态生成的特定医学信息。通过将。
Flexible Multi-modal Hashing for Scalable Multimedia Retrieval 灵活的多模态哈希用于可伸缩的多媒体检索
Leiroy的博客
11-05 793
灵活的多模态哈希用于可伸缩的多媒体检索 Flexible Multi-modal Hashing for Scalable Multimedia Retrieval ​ 引用：24 多模态散列方法通过在离线训练和在线查询阶段结合用于二进制散列学习的多模态特征，可以支持高效的多媒体检索。然而，当只提供一种或部分模式时，现有的多模式方法无法对查询进行二值化。在本文中，我们提出了一种新的灵活的多模态哈希（FMH）方法来解决这个问题。FMH在单个模型内同时学习多模态特定哈希码和多模态协作哈希码。哈希码是根据新出现的
AAAI2024最佳解读|MM-Point Multi-View Information-Enhanced Multi-Modal Self-Supervised
haimianxiaobao11的博客
03-10 379
本文提出了一种新颖的自监督点云表示学习方法MM-Point，旨在通过多视角二维信息增强三维点云理解。MM-Point利用模内和模间相似性目标，促进三维物体与多个二维视图之间的多模态交互与传输。为有效执行基于对比学习的跨模态一致性目标，本文进一步提出了多层感知机（Multi-MLP）和多级增强策略。
多模态（multi-modal）、多视图（multi-view）、多媒体（Multimedia）的区别
小阿明的博客
08-19 1256
但其实视图的概念更加的抽象，在多视图中，不同的模态，视频、文字、语音，可以被认为是不同的视图，所以多模态是多视图的特例。来源于不同模态的数据，如视频可划分为音频、视觉、文本等不同模态构成的数据。来源于不同特征描述的数据，如数据的边缘、傅里叶、纹理等特征构成的数据。来源于不同数据站点的数据，如不同设备扫描得到的数据、不同种群的数据。来源于不同采样下的数据，如数据缺失程度不同所构成的数据、来源于不同形态的数据，如不同风格的字体、不同国家的语言。来源于不同格式的数据，如不同的图像格式所构成的数据。
MultiView多视图
03-06
symbian里的多视图例程，这里有资源问价的定义和tab的使用，symbian里的多视图例程，这里有资源问价的定义和tab的使用
Multi-view Face Detection Using Deep Convolutional Neural Networks
09-11
Multi-view Face Detection Using Deep Convolutional Neural Networks
多视图 (Multi-view) 与多模态 (Multi-modal)
dundunmm的博客
12-27 2154
多视图学习关注从同一数据对象的多个表现或角度提取信息；多模态学习则涉及从不同类型的数据（如文本、图像、音频）中提取信息，进行融合和学习。两者都是为了从多方面提取信息和提升任务性能，但多视图主要是在同类数据的不同角度上进行处理，而多模态则在不同类型的数据间进行整合。
多视图学习（multiview learning）
weixin_30797199的博客
10-30 3676
多视图学习（multi-view learning） 前期吹牛：今天这一章我们就是来吹牛的，刚开始老板在和我说什么叫多视图学习的时候，我的脑海中是这么理解的：我们在欣赏妹子福利照片的时候，不能只看45度角的吧，要不那样岂不是都是美女了，这还得了。所以我们要看各个角度的照片，打击盗版美女，给大家创建一个真诚的少点欺骗的和谐世界。所以说，多视图学习就是360度，全方位无死角的欣赏（学习）然后得到最接...
Multi-Modal
Rainbow
04-09 705
文章目录Multimodalmotivationproblem研究方向多模态表示学习 Multimodal Representation模态转化 Translation对齐 Alignment多模态融合 Multimodal Fusion\多源信息融合（Multi-source Information Fusion）\多传感器融合（Multi-sensor Fusion)method协同学习 Co-learning Multimodal https://zhuanlan.zhihu.com/p/53511
多视图学习 (Multi-View Learning)
热门推荐
CarpeDiem
03-08 3万+
多视角/多视图学习（Multi-view learning）是陶大成提出的一个研究方向。我们都知道，在机器学习中样本可以用不同的特征（如图片可以用LBP、SIFT等特征）来表示，或者从不同的角度进行观察（如从前后左右观察一个对象），甚至是采用不同的传感器来观测（如RGB摄像头，Depth摄像头），这些不同的观测手段、角度或特征在多视角学习中称为“视角”。多视角学习通过对不同的视角进行统一分析和研究，希望能够得到更好的分类或聚类等等的效果。
GNN Algorithms(9): 多模态Multi-Modal、多任务Multi-Task
天狼啸月1990的博客
07-17 1859
多任务学习 (Multi-Task Learning, MTL)是一种将多个相关任务学习到一个模型中的方法，以提高模型的泛化能力和学习效率。在CV领域，多任务学习常用于图像分类、目标检测、语义分割等任务的联合学习。 多模态学习 (Multi-Modal Learning, MML)是一种将多种类型的数据(e.g. image, text, audio, v ideo等)作为输入的学习方法，以提高模型的表现力和泛化能力。
Multiview控件
YNO
05-20 1114
MultiView控件是一个比较复杂一点控件，它有点类似于 WinForm 中的 TabControl控件，它是 View 控件的容器，而 View控件则可以当作控件的容器，类似于 WinForm 中的 TabPage 控件。一次只能设置一个 View 控件为活动视图，只有处于活动状态的View才会呈现到客户端。如果没有设置任何 View 为活动视图则不向客户端呈现任何内容。可以 通过设计视图或者...
flex Adaptive Task Batch Scheduling with Elastic Fusion in Multi-Modal Multi-View Machine Perception
最新发布
12-02
提供的参考引用中未涉及在多模态多视图机器感知中使用弹性融合的flex自适应任务批量调度（Multi - Modal Multi - View Machine Perception: flex Adaptive Task Batch Scheduling with Elastic Fusion）的相关内容，因此无法根据引用回答该问题。但从一般性知识来看，多模态多视图机器感知结合弹性融合的自适应任务批量调度是一个前沿的研究方向。 在多模态多视图机器感知里，系统会处理来自多个传感器、多种模态的数据，如视觉、听觉、触觉等。弹性融合则意味着系统能够根据不同的任务需求、数据特性和环境条件，动态地调整融合策略。flex自适应任务批量调度是指系统可以根据任务的实时状态、资源使用情况以及不同模态数据的特点，灵活地对任务进行批量调度，以提高系统的整体性能和效率。 例如，在一个智能监控系统中，系统可能会同时接收视频、音频等多模态数据。当检测到异常事件时，系统可以根据事件的紧急程度、数据处理的优先级等因素，弹性地融合不同模态的数据，并自适应地调度任务进行处理，以快速准确地识别和响应异常情况。 ### 代码示例 以下是一个简单的伪代码示例，用于说明这种调度的基本逻辑： ```python # 模拟多模态数据和任务 multimodal_data = { 'vision': [data1, data2, ...], 'audio': [data3, data4, ...], # 其他模态数据 } # 模拟任务队列 task_queue = [task1, task2, ...] # 弹性融合和自适应调度函数 def elastic_fusion_and_scheduling(multimodal_data, task_queue): # 根据数据和任务情况动态调整融合策略 fusion_strategy = adjust_fusion_strategy(multimodal_data, task_queue) # 融合多模态数据 fused_data = fuse_data(multimodal_data, fusion_strategy) # 自适应调度任务 scheduled_tasks = schedule_tasks(fused_data, task_queue) return scheduled_tasks # 执行调度 scheduled_tasks = elastic_fusion_and_scheduling(multimodal_data, task_queue) ```
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

机器不学习我学习

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值