无监督跨模态分类及其整理

已于 2022-03-12 16:55:34 修改
阅读量697 收藏 1
点赞数 1
分类专栏： unsurpervised 文章标签： 分类 数据挖掘 人工智能
于 2021-08-24 11:24:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq2285580599/article/details/119877718
版权
该博客探讨了一种改进的跨模态学习方法，通过融合模态信息学习到融合相似度S_fusion，并对其进行精炼。利用S指导哈希码学习，同时在迭代过程中保持S的动态更新和数据的稀疏性。通过KNN构造初始S矩阵，并通过权重调整保持稀疏性。此外，引入自编码模块增强模型的鲁棒性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一，通过raw feature学习到S，然后固定不动指导哈希码学习

  • JDSH：

Motivation

1，学习到简单的 S，这个 S 不单单是 S_I + S_T，这样把模态割裂的方式是不好的，应该把模态互相融合，你中有我，我中有你，一个I与所有I的相似度乘以对应的pair中的一个T与所有T的相似度然后相加。构成一个S_fusion（这与DGCPN相似，DGCPN只是进行相乘的时候做了一个KNN.）

              

                              

2，接下来就是精炼S，离最大sim近的那些就拉近一些，离最小sim近的那些就推远一些。这就有两个问题：如何设置界限和如何拉近和推远？

先讲界限，     

根据分布，可以发现实际分布左边近似于高斯分布左边，实际分布右边近似于拉普拉斯分布右边，所以就可以把这两个分布的均

最低0.47元/天 解锁文章
多模态大模型：技术原理与实战 全球多模态大模型介绍
AI天才研究院
06-11 2008
关键词：多模态大模型、深度学习、计算机视觉、自然语言处理、跨模态学习、迁移学习、人工智能随着人工智能技术的飞速发展，多模态大模型已经成为了当前AI领域最热门的研究方向之一。多模态大模型能够同时处理和理解多种类型的数据，如文本、图像、音频和视频等，这为AI系统在复杂场景下的应用提供了更加强大和灵活的能力。本文将深入探讨多模态大模型的技术原理，介绍其实战应用，并对全球主要的多模态大模型进行全面的介绍和比较。
多模态大模型：技术原理与实战 大模型在软件研发领域的实战案例与前沿探索
最新发布
AI天才研究院
06-27 1134
多模态大模型：技术原理与实战 大模型在软件研发领域的实战案例与前沿探索 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：多模态大模型, 多源信息融合, 跨媒体理解, 自动化开发辅助, 软件工程革新
论文整理1——《基于高阶非局部哈希的无监督跨模态检索》
pengsao的博客
03-31 772
论文整理1——《基于高阶非局部哈希的无监督跨模态检索》 前言 无监督的跨模态检索需要解决的难点就在于如何在没有标签信息的情况下度量模态间和模态内的相似性。 一、正文 本篇论文拟解决“无监督跨模态散列缺乏可靠的相似性监督”、“如何高效处理不同模态间的异质性”等问题。 采用的是高阶非局部哈希方法，具体而言，就是（1）、引入高阶亲和力度量矩阵；（2）、引入一种通用的表示法来关联不同的模态；（3）、构造能保持亲和力的目标函数，从而生成高质量的二进制代码。 如下图，首先通过深度学习分别提取图像和文本的特征 ，进而分别
（脑肿瘤分割笔记：五十九）基于双向全局到局部无监督自适应跨模态的脑肿瘤分割
weixin_43921949的博客
10-14 1090
于双向全局到局部无监督自适应跨模态的脑肿瘤分割
Aggregation-Based Graph Convolutional Hashing for Unsupervised Cross-Modal Retrieval
薛定谔的猫的博客
06-08 546
本文的提出动机/现存的问题：1）尽管监督方法取得了巨大的成功，但现有的无监督哈希方法仍然存在缺乏可靠的学习指导（learning guidance）和跨模态异构（cross-modal discrepancy）的问题。2）单个相似性度量很难全面地表示数据关系。基于聚合的图卷积哈希（AGCH）1）考虑到单个相似性度量很难全面地表示数据关系，开发了一种高效的聚合策略，利用多个度量来构建更精确的亲和矩阵（affinity matrix）用于学习。具体来说，
基于跨模态预测的多模态情感分类
zenRRan的博客
10-16 4063
每天给你送来NLP技术干货！论文名称：A Text-Centered Shared-Private Framework via Cross-Modal Prediction for Mul...
Coupled CycleGAN：用于跨模态检索的无监督哈希网络
03-08
近年来，由于其在大规模跨模态检索中的低存储成本和高查询效率的出色能力，散列吸引了越来越多的关注。 得益于深入学习，跨模式检索社区取得了令人信服的结果。 但是，现有的深层交叉模式散列方法要么依赖于标记信息的数量，要么无法学习不同模式之间的准确性相关性。 在本文中，我们提出了用于交叉模式检索的无监督耦合循环生成对抗式哈希网络（UCH），其中外循环网络用于学习强大的通用表示，并解释内循环网络以生成可靠的哈希码。 具体而言，我们提出的UCH将这两个网络与生成对抗机制无缝耦合，可以同时进行优化以学习表示和哈希码。 在三个流行的基准数据集上进行的大量实验表明，所提出的UCH优于最新的无监督交叉模式哈希方法。
Cross-modal Video Moment Retrieval（跨模态视频时刻检索综述）
nakaizura
07-13 1万+
这个方向的出的文章已经有很多了，但是似乎还没有一个统一一点的名字，叫 时域语言定位（Temporally Language Grounding），或者跨模态视频时刻检索/定位（Cross-modal Video Moment Retrieval/Localization）等等都有。 大概给一个定义就是：给定一句自然语言描述的查询语句query，在未剪裁的完整视频中确定该描述发生的时间片段（起始时间，终止时间），简单来讲如上图，就是用一段文字查询具体的视频片段。它与纯的动作定位任务不同之处在于多了跨模态（文.
Video Caption（跨模态视频摘要/字幕生成）
热门推荐
nakaizura
03-13 1万+
Video Caption 视频摘要/视频字母生成属于多模态学习下的一个子任务，大体目标就是根据视频内容给出一句文字描述。所生成的caption可用于后续的视频检索等等，也可以直接帮助智能体或者有视觉障碍的人理解现实情况。 典型的架构如上图（图自[ICCV2015] Sequence to Sequence – Video to Text，从视频帧到文本句子的端对端模型），该任务可以分解为两个子任务，一个是如何理解视频/多模态，并融合以得到更好的视觉表示，另一个是视频描述生成，如何得到质量高，甚至可控、稳.
无监督学习多模态融合！腾讯优图联合厦门大学发布2021十大AI趋势
喜欢打酱油的老鸟
06-10 513
腾讯优图实验室联合厦门大学人工智能研究院发布《2021 十大人工智能趋势》报告，对 3D 视觉技术、深度学习算法、人工智能内核芯片等众多领域的发展趋势进行了预测。 6 月 5 日，2021 全球人工智能技术大会（GAITC 2021）在杭州举办，汇集人工智能产学研各界领军者，以国际化、前瞻化、产业化视角，解析并洞察了新一代人工智能发展路径。 在大会上，腾讯优图实验室联合厦门大学人工智能研究院正式发布《2021 十大人工智能趋势》（以下简称“趋势报告”），基于双方长期对人工智能尤其是计算机视觉的研究洞.
多模态（图像和文本跨模态）分类
06-29 1万+
此项目主要是小白入门教学，项目可以直接运行，需要请私信！！！多模态（图像文本）分类是深度学习多模态领域最基本的识别任务。本文采用二维卷积处理图像，用一维卷积处理文本，在全连接层进行相加，最后分类为3个分类。本文实现三分类，积极、消极和中立。训练图像收敛结果如下图所示数据集格式如下图——data其中一个图片和文本的具体情况如下图所示：图片：文本信息：label 如下图所示。
跨模态、多模态、多任务之间的区别与联系
JJxiao520的博客
04-22 2448
跨模态是指从一种模态的数据中学习，并将其知识应用到另一种模态的数据上。跨模态学习可以利用不同模态数据之间的隐含关系，从而提高模型的泛化能力。从图像数据学习，用于文本生成。从文本数据学习，用于图像生成。从语音数据学习，用于唇语识别。跨模态、多模态和多任务是人工智能领域中相互关联的概念，它们可以相互促进，共同推动人工智能技术的进步。
（跨模态检索综述）A Comprehensive Survey on Cross-modal Retrieval
HYY233的博客
12-13 5066
A Comprehensive Survey on Cross-modal Retrieval Kaiye Wangy, Qiyue Yiny, Wei Wang, Shu Wu, Liang Wang∗, Senior Member, IEEE 1. 研究现状： 目前跨模态检索主要分为两种方法：(1)real-valued表示学习；(2)binary表示学习。Real-valued表示学习...
多模态中的模态有哪些
Hanscal
05-28 1286
多模态模型的目标是将这些不同模态的信息整合起来，以便模型能够更好地理解数据、执行任务或做出预测。通过结合不同模态的信息，多模态模型可以获得更全面、更准确的理解和推断能力。通过整合这些不同的模态数据，多模态大模型能够实现更全面、多样化的信息处理和分析，为各种复杂任务提供更强大的支持。：多模态大模型能够同时处理多种数据类型，如文本、图像、视频、音频等，从而实现跨模态信息的融合和处理。：多模态大模型在图像描述、视频理解、多模态对话、跨模态推理等领域具有广泛的应用场景。PS: 欢迎关注公众号^_^.
多模态学习中四种常用的跨模态特征融合方法定义与PyTorch实现
m0_47623548的博客
06-30 4777
本文共介绍四种方法，分别是SumFusion、ConcatFusion、FiLM以及GatedFusion。
跨模态行人重识别：Discover Cross-Modality Nuances for Visible-Infrared Person Re-Identification学习记录笔记
weixin_43898295的博客
05-17 2293
摘要 提出了一种联合模态和模式对齐网络 (MPANet) 来发现可见红外人 Re-ID 不同模式中的跨模态细微差别，它引入了模态缓解模块和模式对齐模块来共同提取判别特征。模态缓解模块以从提取的特征图中去除模态信息。 然后设计了一个模式对齐模块，它为一个人的不同模式生成多个模式图，以发现细微差别。 最后引入了一种相互均值学习方式来缓解模态差异，并提出了一个中心聚类损失来指导身份学习和细微差别发现。 贡献： 为了发现细微差别并提取判别性特征，提出了模式对齐模块 (PAM)，以无监督方式发现...
多模态文本分类技术
weixin_44295084的博客
09-04 5979
多模态文本分类技术多模态简介什么是多模态多模态的技术点多模态表示学习Representation模态转化Translation模态对齐Alignment多模态融合Fusion协同学习Co-learning多模态在文本分类的应用讽刺检测情感分类情感分析假新闻识别商品分类 写在前面：仅用于记录自己学习 观看的视频 摘抄的笔记 多模态简介 什么是多模态 Multimodal Machine Learning(MMML),旨在用机器学习的方法实现处理和理解多模态信息的能力。比如：图像、音频、视频、语义之间的多模态学
使用LSTM和ResNet的无监督多模态分类
ridgelu的博客
08-24 4059
这次做的是一个结合图像和对应短文本的无监督分类模型，使用的数据集来源于nus-wide，最后分类的准确率在80多一点点
跨模态检索
Exception_3212536934的博客
04-22 8156
目录 一、定义 二、分类 基于特征表示方法 基于图文匹配的方法 三、相关概念 四、相关网络结构 五、相关文献 一、定义 通过一种模态样本来检索具有近似语义的另一种模态样本。 跨模态学习是多模态学习的分支。 跨模态检索训练过程中所有模态的数据都存在，但在测试过程中只有一种模态可用。 挑战：如何度量不同模态数据之间的内容相似性，也称之为异质鸿沟问题。 二、分类 基于实值表示学习：提升跨模态语义相关性，进而提高跨模态检索准确度。 基于二进制表示学习：提升跨模态图文检索效率，减少
面向无监督跨模态检索的聚合图卷积哈希技术
尽管通过监督方法（supervised approaches）取得了巨大成功，但现有的无监督哈希方法仍面临缺乏可靠的学习引导和跨模态差异的问题。本文提出了一种基于聚合图卷积哈希（Aggregation-Based Graph Convolutional ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值