阅读文献记录四（跨模态数据增广）

最新推荐文章于 2024-12-24 10:11:12 发布
最新推荐文章于 2024-12-24 10:11:12 发布
阅读量557 收藏 1
点赞数
CC 4.0 BY-SA版权
文章标签： 大数据 学习 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_46336310/article/details/125769897
本文探讨了在连续手语识别中，通过跨模态数据增广方法解决优化目标与评价指标不一致的问题。提出真伪辨别损失函数，结合CTC、语义一致性损失，优化视频和文本间的匹配。框架利用BLSTM和多任务损失，增强数据并提升识别精度。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

基于跨模态数据增广的视频连续手语识别


问题1：连续手语识别中优化目标和评价指标不一致的问题。例如：最大解码概率预测句子可能不是在误字率标准下最好的选择。

解决方法：提出了一种基于跨模态增强的框架，首先通过模拟误字率的计算过程来增强跨模态数据，即对句子和其对应视频采取替换、删除和插入操作。

创新点：为了最小化真实手语视频与其对应真实标签之间的距离，同时最大化真实手语视频与伪标签之间的距离，本章提出了一项真伪辨别损失函数。

本章提出了多项损失函数，旨在缩小视频与对应文本之间的跨模态距离。

真伪辨别损失函数：1.最大化真实手语视频与其对应真实标签之间的距离；2.最大化真实手语视频与伪标签间的距离。

CTC 损失函数：真实与伪标签对齐；

跨模态语义一致性损失函数：最小化真实手语视频与文本之间的跨模态距离。

最终的优化损失函数由CTC损失函数、真伪辨别损失函数、跨模态语义损失函数相加而成；

框架示意图：

<

最低0.47元/天 解锁文章

200万优质内容无限畅学
使用深度卷积神经网络和颜色转换的迁移学习在超声乳腺肿块分类中的应用
自在独行的博客
01-05 1032
Breast mass classification in sonography with transfer learning using a deep convolutional neural network and color conversion Purpose:我们提出了一种基于深度学习的超声乳腺肿块分类方法，并将其与四位经验丰富，采用乳腺影像学报告和数据系统第四版词典和评估方案的放射科医生的评估进行比较。 Methods:基于一组882张乳腺肿块超声图像，采用多种迁移学习技术开发分类器。此..
什么是跨模态/多模态？
学习与分享人工智能技术
10-16 2913
本文详细介绍了跨模态、多模态的概念及常见建模策略。
PointAugmenting: Cross-Modal Augmentation for 3D Object Detection总结
qq_43456497的博客
02-19 774
现状：相机和 LiDAR 是两个互补的传感器，用于自动驾驶环境中的 3D 物体检测。摄像头提供丰富的纹理和颜色提示，而激光雷达则专注于相对距离感应。问题： 3D 目标检测的挑战在于有效融合 2D 相机图像与 3D LiDAR 点。
规模化强化学习 — 跨(多)模态强化学习
weixin_48878618的博客
02-21 2149
跨模态强化学习（Cross-Modal Reinforcement Learning）是强化学习的一种扩展，它涉及到处理和整合来自不同感知模态（例如视觉、听觉、触觉等）的信息，以便智能体能够在包含多种类型感知数据的环境中学习有效策略。在跨模态学习中，“模态”指的是不同的感知或通信渠道。例如，人类可以通过视觉来观察物体的形状、通过听觉来识别声音、通过嗅觉来检测气味。在机器学习和特别是在强化学习中，跨模态学习的目的是使计算模型能够理解并整合不同模态的输入，从而使决策更加全面和精确。
跨模态图文检索：多模态交互主题增强模型
weixin_44390691的博客
12-31 1760
《Multi-modal Mutual Topic Reinforce Modeling for Cross-media Retrieval》（2014 ACM） 今天分享一篇年代有点久远的文章。这篇文章提出了一个基于主题模型（topic model）的跨模态检索方法M3R。 主要思想 该文的主要思想是建立一个联合的跨模态概率模型，用监督学习的方式，通过跨模态的交互主题强化，自适应地学习一组语义上有意义的潜在主题。 具体一点说，M3R利用的是贝叶斯建模过程，将辅助信息（类别、标签等）纳入这个建模过程中，把语
单/跨模态检索（single-/corss-modal retrieval）数据集划分
iTom's blog
07-12 2892
跨模态检索的模式有三种： supervised semi-supervised unsupervised 从实际应用的场景考虑数据集的划分方法，retrieval set 应该是对应已经获得的所有数据（database），比如搜索引擎里已经存好的数据；而 test/query set 就对应那些还未出现的别人查询时的数据，比如搜索时输入的文本。 所以讲道理整个 retrieval set 的数...
RegDB数据集-跨模态行人重识别
02-16
跨模态行人重识别数据集，可见光和红外图像常用数据集
【论文精读】AcFormer: An Aligned and Compact Transformer for Multimodal Sentiment Analysis
"You are worthy! You can do it!"
03-04 2036
融合：模态之间的异质性和不一致性。现有方法：缺乏对模态融合效率的考虑。为了解决这些问题，本文提出了AcFormer，它包含两个核心成分：模态内和模态间的对比学习，以在融合前明确对齐不同的模态流；为多模态交互/融合引入枢纽注意力机制 pivot attention。前者鼓励图像-音频-文本的正面三元组拥有与负面三元组相对的类似表征。后者引入了可以作为跨模态信息桥梁的注意力枢纽，并将跨模态注意力限制在一定数量的融合枢纽tokens上。
[更新中]文献索引
LeoGIS1987的博客
12-03 9632
2010 2010-01 [1]多个粗差定位的抗掩盖型Bayes方法.pdf [6]模糊神经网络在变形分析与预报中的应用研究.pdf [9]GPS_GLONASS组合精密单点定位研究.pdf [13]基于星间距离变化的动态双向时间同步算法.pdf [17]QZSS对GPS区域性能增强分析.pdf [21]GPS模糊度降相关LLL算法的一种改进.pdf [25]2008年汶川地震前的形变异常及机理解...
Multimodal EEG for Anxiety Survey
apple_52478019的博客
09-20 1382
该研究旨在通过分析社交焦虑障碍(SAD)患者的脑电图(EEG)信号的复杂性来辅助临床诊断。研究由来自马来西亚、沙特阿拉伯、阿联酋和也门的多个机构的研究人员共同完成，并获得了医学伦理委员会的批准，符合赫尔辛基宣言的要求。研究中涉及88名SAD患者，分为四个平衡组：严重组、中度组、轻度组和健康对照组。研究利用模糊熵(FE)这一度量来分析这些组别在静息状态下的EEG复杂性。通过高时间分辨率的EEG技术，研究人员能够捕捉到大脑活动的瞬时变化模式，这对精神健康状况的临床评估至关重要。
跨模态检索的持续学习
zag666的博客
04-02 1602
多模态表示和持续学习是与人类智能密切相关的两个领域。前者考虑了共享表示空间的学习，其中来自不同模态的信息可以进行比较和集成(我们关注语言和视觉表示之间的跨模态检索)。后者研究如何防止在学习新任务时忘记以前学过的任务。虽然人类在这两个方面表现出色，但深度神经网络仍然相当有限。在本文中，我们提出将这两个问题结合到一个连续的跨模态检索设置中，在其中我们研究了新任务引起的灾难性干扰如何影响嵌入空间及其有效检索所需的跨模态对齐。我们提出了一个通用框架，将训练、索引和查询阶段解耦。
EANet: 跨模态语义分割的新星，引领深度学习新潮流
gitblog_00007的博客
04-26 475
EANet: 跨模态语义分割的新星，引领深度学习新潮流 项目简介 是一个开源的深度学习项目，由黄后劲开发，专注于跨模态语义分割任务。该项目引入了一种新颖的编码-解码架构（Encoding-Aware Decoding Network），旨在有效融合不同模态的信息，提高图像理解的精度和效率。 技术分析 EANet的核心创新在于其设计的编码器感知解码器（Encoding-Aware Decoder）。...
多模态大型语言模型中的跨模态一致性
最新发布
2401_85373898的博客
12-24 1807
本文探讨了多模态智能体中的跨模态一致性问题，提出了一个新的评估框架，并通过实验揭示了视觉和语言模态之间的显著差异及其改进方法。论文题目： Cross-Modal Consistency in Multimodal Large Language Models论文链接： https://arxiv.org/abs/2411.09273。
多模态的研究现状与应用场景的调查研究
qq_41652801的博客
08-15 7904
近年来，以共注意力机制（Co-attention）为代表的，在图像和文本间形成对称结构的注意力机制变得更为流行，常见的方法包括平行共注意力方法（Parallel Co-attention）、交替共注意力方法等（Alternating Co-attention）。，(xN，yN)}。（比如weakly-supervised visual grounding）：给定两个模态的数据作为输入，希望模型实现子元素的对齐，但是训练数据没有“对齐结果”的标注，模型需要同时学习相似度度量和对齐方式。:通常是SVM的扩展。.
PointAugmenting: Cross-Modal Augmentation for 3D Object Detection论文笔记
Rolandxxx的博客
03-08 4991
PointAugmenting: Cross-Modal Augmentation for 3D Object Detection（point-level fusion) CVPR2021 1.摘要+intro 三维目标检测的挑战在于如何将二维camera图像与三维LiDAR点进行有效融合(基于point-level），作者发现point-level fusion方法中用同一分割网络提取的CNN特征来代替分割分数，MAP会显著增加，这说明了体现了CNN特征与3D探测器的点云融合的有效性。本文提出了一种新的跨
UNIMO：基于跨模态对比学习的统一模态理解和生成
qq_45331246的博客
10-02 3065
UNIMO、跨模态对比学习、统一模态
MM2022 | 用StyleGAN进行数据增强，真的太好用了
努力努力再努力的小马
09-27 1818
本文提出了一种新的配对跨模态数据增强框架，该框架可以生成无限量的配对数据来训练跨模式检索模型。具体来说，作者使用随机文本替换策略来生成增强文本。为了从增强文本中生成相应的增强图像，首先采用StyleGAN2模型生成高质量和多样性的图像。然后，提出通过本文的潜在空间对齐模块来弥合文本和图像数据之间的差距，该模块将文本特征映射到StyleGAN2的潜在空间W。作者使用StyleGAN2的学习对齐模块的输出来生成增强图像，从而获得增强文本-图像对。
深度学习：多模态与跨模态
热门推荐
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
11-13 2万+
多模态”和“跨模态”是另外两个容易混淆的术语，“多模态”和“跨模态”都是处理多种数据类型或特征的术语，但“多模态”更关注同时处理多种数据类型的算法，而“跨模态”更侧重于将一种数据类型映射到另一种数据类型进行处理。
跨模态、多模态、多任务之间的区别与联系
JJxiao520的博客
04-22 2733
跨模态是指从一种模态的数据中学习，并将其知识应用到另一种模态的数据上。跨模态学习可以利用不同模态数据之间的隐含关系，从而提高模型的泛化能力。从图像数据学习，用于文本生成。从文本数据学习，用于图像生成。从语音数据学习，用于唇语识别。跨模态、多模态和多任务是人工智能领域中相互关联的概念，它们可以相互促进，共同推动人工智能技术的进步。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值