chumingqian的博客

提出问题：提出的解决方法。

学习多模态的话题可以从深度学习的分类任务出发，因为分类任务是最直观的可以观察到不同模态的数据，通过输入数据到模型中，我们可以看到模型是如何学习到数据的特征向量的，同时分类任务的模型也是实现更复杂任务模型的基础。从分类任务中可以了解到图像、文本、语音在模型的特征向量是什么。以飞浆的多模态视频分类模型为例，这个模型基于真实的短视频业务数据，融合文本、视频图像、音频三种模态进行视频多模标签分类，相比只使用视频图像特征，显著提升了高层语义标签的效果。

多模态是指涉及多种感官模态（如视觉、听觉、语言等）的信息，通过多种媒体形式进行表达和传递。在现实世界中，人们接收和理解信息的方式往往是多模态的，通过同时获取不同感官的输入，融合多种信息来源来构建对世界的认知。多模态数据能够提供更丰富、全面和准确的信息，因此在生成模型中具有重要的作用。将AIGC和大模型与多模态相结合，可以进一步提升系统的能力，实现更复杂、多样化的内容生成和理解任务。

多模式深度学习是一个子领域，旨在训练人工智能模型来处理和发现不同类型数据（模式）之间的关系——通常是图像、视频、音频和文本。通过结合不同的模态，深度学习模型可以更普遍地理解其环境，因为某些线索仅存在于某些模态中。想象一下情绪识别的任务。它不仅仅是看一张人脸（视觉模态）。一个人的声音（音频模态）的音调和音高编码了大量关于他们情绪状态的信息，这些信息可能无法通过他们的面部表情看到，即使他们经常是同步的。

模态联合学习是一种将多个模态的信息融合在一个模型中进行联合训练的方法。跨模态学习是一种将一个模态的特征转换为另一个模态的特征表示的方法。多模态自监督学习是一种无需标注数据，通过模型自身学习来提取多个模态的特征的方法。

张长青，天津大学智能与计算学部副教授、博士生导师，入选天津大学北洋学者-青年骨干教师计划。主要研究方向为机器学习、计算机视觉、医学图像分析。主要成果发表在国际期刊（IEEE TPAMI/IJCV等）及CCF- A类会议。多篇论文入选NIPS/CVPR等顶级会议的Spotlight和Oral论文。本文内容整理自直播间第 67 期分享。点击文末“阅读原文”可跳转至B站收看本期及往期分享完整视频。如需配套ppt，请通过公众号回复关键词“ppt”或点击对话框工具栏按钮获取。一、多模态融合研究背景多模态融合是非常关键

当聚类的方式使用的是某一类预定义好的相似性度量时， 会出现如下情况：数据聚类方面取得了成功，但它们通常依赖于预定义的相似性度量，而这些度量受原始方法的影响:当输入维数相对较高时，往往是无效的。