多模态学习 讲座记录

最新推荐文章于 2025-04-10 01:11:24 发布
原创 最新推荐文章于 2025-04-10 01:11:24 发布 · 834 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#学习 #人工智能 #深度学习

清华大学张长水教授——多模态学习讲座

任务

在这里插入图片描述

Introduction to Multi-modal Learning

在这里插入图片描述
基础的：NLP Vision Auditory
进阶：触觉 嗅觉等等
进一步： 脑电信号 皮电 红外图 深度图 脑电图等等

在这里插入图片描述

Multi-Modal Learning Tasks

Language-Audio

在这里插入图片描述

  1. 文本 生成 语音 -> 后序还要生成语音和人图像口型对上

Vision-Audio

在这里插入图片描述

第一件是早期的，在深度学习之前；
视频声音分离，加入视觉的信息，比如口型辅助声音分离，声源定位。
结合语音和口型，动画配音生成三维口型。
（局部点- - 构建声音和点的位置关系映射）

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
某个人在哪个时间段说话了，完成标记的任务。

在这里插入图片描述
声音转换成动作，建立拉琴和声音 任务手势和声音的映射

Vision-Language

在这里插入图片描述
在这里插入图片描述
机器人根据人的语言进行导航，比如看到树往哪儿走，看到红绿灯干嘛？

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

通过图像辅助翻译

定位相关任务

在这里插入图片描述

只有文字，没有视觉，无法完全理解客观世界。

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

Core Challenges

在这里插入图片描述

1. Representation

在这里插入图片描述
在这里插入图片描述

word2vec , 不同模态的信息都表示为向量

在这里插入图片描述

2. Alignment

在这里插入图片描述
显示对齐 隐式对齐 例子如下：
在这里插入图片描述

在这里插入图片描述

3. Fusion

在这里插入图片描述
融合过程，融合越早越好，但是不是所有的数据能够很早融合。
在这里插入图片描述
在这里插入图片描述

4. Translation

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5. Co-Learning

在这里插入图片描述

CMU 98年的论文

在这里插入图片描述

Short History

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

多模态大模型

在这里插入图片描述

在这里插入图片描述

问题

多模态学习：
表示 - 语言 + 语音
对齐 和 评价好坏

生成任务上，是否有一个比较好的评价指标

根据实际任务设置

4、以文档为中心的多模态会议助手：从记录到协作的技术演进
ik67890123的博客
08-07 71
本文探讨了以文档为中心的多模态会议助手的技术演进，从智能会议纪要应用、以文档为中心的会议浏览，到跨会议和以自我为中心的浏览，以及多模态用户界面和通信板应用的开发与应用。这些技术通过文档对齐、跨会议导航、个性化访问、多模态交互等方式，显著提升了会议效率和团队协作体验。同时，文章还展望了未来会议支持技术的发展趋势，包括更强大的智能分析能力、更加自然的交互方式、深度集成与协同以及增强的VR和AR应用，并提出了实际的应用建议。
8、数字时代的超阅读、超写作与多模态表达
最新发布
fun88的博客
07-31 38
本文探讨了数字时代下超阅读、超写作和多模态表达带来的深刻变革。文章分析了超文本如何模糊阅读与写作的界限，以及多模态文本如何通过融合文字、图像、音频和视频构建更加丰富的信息体验。同时，从页面到屏幕的逻辑转变揭示了数字媒体如何重塑信息组织方式，并探讨了视觉设计、多模态读写能力的重要性及培养方法。最后，文章展望了增强现实、虚拟现实和人工智能如何推动多模态表达的未来发展，并强调了跨文化交流中的多模态实践意义。
深度学习跨模态图文检索研究综述
qq_61890005的博客
12-24 1142
跨模态检索是多模态学习的重要分支,其目的在于挖掘不同模态样本之间的关系,即通过一种模态样本来检索具有近似语义的另一种模态样本。首先,聚焦于深度学习跨模态图文检索研究的最新进展,对基于实值表示学习和基于二进制表示学习方法的发展动态进行了详细介绍,其中,基于实值表示的方法用于提升跨模态语义相关性,进而提高跨模态检索准确度,基于二进制表示学习的方法用于提升跨模态图文检索效率,减小存储空间;目前流行的基于深度学习的实值表示跨模态图文检索方法可分为两类：基于特征表示的方法和基于图文匹配的方法。
Multi-modal Deep Learning
QQ843604066 的博客
09-23 3124
转自：http://blog.youkuaiyun.com/s2010241013/article/details/51731657   摘要：      本文提出一种在深度网络上的新应用，用深度网络学习多模态。特别的是，我们证明了跨模态特征学习——如果在特征学习过程中多模态出现了，对于一个模态而言，更好的特征可以被学习（多模态上学习，单模态上测试）。此外，我们展示了如何在多模态间学习一个共享的特征，并...
一文搞懂多模态学习（多模态融合 + 跨模态对齐）
m0_59164520的博客
03-07 3787
直接建立不同模态之间的对应关系，包括无监督对齐和监督对齐。无监督对齐利用数据自身特性自动发现模态间对应关系，如CCA和自编码器；监督对齐则利用标签信息指导对齐，如多模态嵌入和多任务学习模型。不直接建立对应关系，而是通过模型内部机制隐式地实现跨模态的对齐。这包括注意力对齐和语义对齐。一、注意力对齐通过注意力机制动态地生成不同模态之间的权重向量，实现跨模态信息的加权融合和对齐。
【论文阅读笔记】Multi-Modal Learning With Missing Modality via Shared-Specific Feature Modelling
寸先生的AI道路
01-02 3671
本文的核心思想是提出一种名为“共享-特定特征建模（ShaSpec）”的方法，用于处理多模态学习中的缺失模态问题。该方法在训练和评估期间利用所有可用的输入模态，通过**学习共享和特定的特征**来更好地表示输入数据。这是通过**基于分布对齐和领域分类的辅助任务**以及**残差特征融合**过程来实现的。ShaSpec的设计简单，易于适应多种任务，如分类和分割。实验结果表明，ShaSpec在医学图像分割和计算机视觉分类方面的表现优于竞争方法。例如，在BraTS2018数据集上，ShaSpec在增强肿瘤、肿瘤核心和整
计算机英语学习笔记&多模态学习
qq_52750257的博客
05-22 406
（学习资料来源：Adaptive Multimodal Fusion for Facial Action Units Recognition—Poster Session E2: Emotional and Social Signals in Multimedia & Media Interpretation----2020）（我们的多模态学习方法基于这样一个想法，即不同的模态提供了互补信息，可以提高在给定任务上的性能。（我们提出的方法在图像和语音识别任务上取得了优秀的结果，证明了多模态学习的有效性。
多模态大模型在农业智能化中的创新应用实践
AI 领航者的博客
04-10 1272
本研究旨在探索多模态大模型在农业智能化中的创新应用，通过融合多种模态的数据（如图像、文本、传感器数据等），提升农业生产、管理和决策的智能化水平。研究范围涵盖了多模态大模型在农作物生长监测、病虫害识别、农产品质量检测、农业气象预测等多个农业领域的应用实践。本文首先介绍了多模态大模型和农业智能化的核心概念及它们之间的联系，然后详细阐述了多模态大模型的核心算法原理和具体操作步骤，给出了相关的数学模型和公式。接着通过项目实战展示了多模态大模型在农业智能化中的代码实现和应用效果。
云计算实战应用案例精讲-【深度学习】多模态融合（论文篇四）
qq_36130719的博客
04-30 1555
能凸显数据特征，挖掘生理信号的时频域特征和时序特征的有效深度特征。学家们就情绪的基本特性达成了共识，认为情绪与人的生理变化相关联，持续时间短，连接和参数，网络模型的复杂度低，易于训练，该优势对于输入细粒度特征比如图像、分布函数描述系统的稳定状态，当系统处于有序状态时，概率分布集中，系统能量低，识别，充分利用多种模态的有效情感信息，开展相关实验并分析融合后分类性能。融合方式存在的优缺点，结合本数据集的特点，本文使用混合多模态融合方式将眼动、可以直观的描述情感表现，便于理解，但只是涵盖了小部分的情感状态。
何晖光：多模态情绪识别及跨被试迁移学习
深度学习大讲堂
04-23 5049
编者按：情感计算的概念由MIT媒体实验室Picard教授于1997年提出，它旨在通过赋予计算机识别、理解、表达和适应人类情感的能力来建立和谐人机环境。情感计算的基本问题包...
【零样本学习】Multi-modal Cycle-consistent Generalized Zero-Shot Learning
x124612的博客
10-30 1270
Motivations 现有的GZSL方法学习视觉空间到语义空间的映射（假设视觉空间和语义空间中的类别分布相似），容易偏向于seen class，导致GZSL的准确率低。近年来，生成式方法通过生成unseen class的特征，再学习分类器，提升了GZSL性能。但是它不能保证生成的视觉特征能够反过来生成它对应的语义特征。这导致生成的视觉特征不能很好地表示它的语义特征。所以，提出使用 cycle-c...
深度学习：多模态与跨模态
热门推荐
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
11-13 2万+
多模态”和“跨模态”是另外两个容易混淆的术语，“多模态”和“跨模态”都是处理多种数据类型或特征的术语，但“多模态”更关注同时处理多种数据类型的算法，而“跨模态”更侧重于将一种数据类型映射到另一种数据类型进行处理。
跨模态学习与多模态学习——快速区分，拒绝迷糊！
Joy T的博客
11-03 1581
跨模态学习和多模态学习都涉及处理多种数据模态（如文本、图像、音频）。跨模态学习关注不同模态间的信息转换与匹配，例如通过文本检索图像；多模态学习则侧重融合多模态信息来提升任务性能，如结合视频和音频进行情感分析。两者均可与深度学习方法结合，利用自动特征提取增强处理能力。核心区别在于：跨模态强调模态间的关联，多模态注重多源信息的整合。
RGB-D Scene Classification via Multi-modal Feature Learning论文翻译
york1996的博客
08-12 1459
摘要 以前的方法大部分是用全局信息来进行场景的分类，并且把图像中所有的像素用来高级别的任务。它们只是把RGB和深度信息连接起来，没有探索RGB和深度的关系和互补性，也没有考虑局部特征的分布。从人的观点来看，我们识别物体的种类一般是通过：外观，纹理，形状和深度。不同物体之间的结构分布也要考虑。基于这个观察，建立一个中级别的物体区分性的表示应该会对场景分析很有效。作者提出了LM-CNN（new Co...
清华大学张长水教授：机器学习和图像识别（附视频、PPT下载）
数据派THU
05-14 4288

 
 
 
 
 
 
 本篇干货整理自清华大学自动化系教授张长水于2018年4月27日在清华大学数据科学研究院第二届“大数据...
用于半监督医学图像分割的多模态对比互学习和伪标签再学习方法
专注计算机视觉全栈知识分享
02-17 3155
用于半监督医学图像分割的多模态对比互学习和伪标签再学习方法
多模态对比互学习和伪标签再学习半监督医学图像分割
qq_45745941的博客
06-18 1437
多模态半监督模型提出一种新的对比损失函数最小化两种图像模态的差异伪标签再学习解决不同模态之间存在的预测效果差异将高性能模态的模型用作具有更高置信度的教师模型在推理阶段仅使用一种模态进行分割利用损失函数减少模态之间的异质性利用mean-teacher模型减少预测的输入模态利用伪标签再学习方法提升鲁棒性利用BMA参数更新提升模型准确性。
MIA | Multi-modal contrastive mutual learning and pseudo-label re-learning for semi-supervised medic
qq_43660863的博客
12-05 2094
MIA：Multi-modal contrastive mutual learning and pseudo-label re-learning for semi-supervised medical image segmentation；半监督医学图像分割的多模态对比学习和伪标签学习
多模态融合技术升级！新阶段2大融合模式取得最优性能
学姐带你玩AI的博客
03-07 3448
每种方法都附有。
2021年Web开发学习路径与实战记录
“2021-Web-Development-Study: 跟随Udemy讲座学习Web开发的痕迹”这一项目名称明确指出了其核心目标——系统性地记录和整理在2021年期间通过Udemy平台进行Web开发学习的全过程。该项目不仅是个人学习轨迹的真实写照...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Ray.so

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值