多模态任务多粒度多课程去噪框架

最新推荐文章于 2025-06-17 00:28:39 发布
最新推荐文章于 2025-06-17 00:28:39 发布
阅读量683 收藏 28
点赞数 29
分类专栏： 传知代码论文复现 文章标签： python 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Srlua/article/details/144578047
版权


✨✨ 欢迎大家来访Srlua的博文（づ￣3￣）づ╭❤～✨✨

🌟🌟 欢迎各位亲爱的读者，感谢你们抽出宝贵的时间来阅读我的文章。

我是Srlua小谢，在这里我会分享我的知识和经验。🎥

希望在这里，我们能一起探索IT世界的奥妙，提升我们的技能。🔮

记得先点赞👍后阅读哦~ 👏👏

📘📚 所属专栏：传知代码论文复现

欢迎访问我的主页：Srlua小谢 获取更多信息和资源。✨✨🌙🌙

​​

​​

目录

论文地址

主要内容

主要贡献

模型图

技术细节

Coarse-grained Noise Metric 粗粒度噪声度量

Fine-grained Noise Metric 细粒度噪声度量

Single Denoising Curriculum 单一降噪课程

算法伪代码

实验结果

代码运行

环境配置

数据集目录结构

模型和数据集配置

代码运行

 本文所有资源均可在该地址处获取。

论文地址

https://arxiv.org/pdf/2310.14605

主要内容

这篇文章介绍了一个名为M2DF（Multi-grained Multi-curriculum Denoising Framework）的新型多模态去噪框架，用于多模态基于方面的细粒度情感分析（MABSA）。MABSA是一项复杂的情感分析任务，它涉及到从文本和图像中提取特定方面的术语并确定其情感倾向。文章的主要贡献包括：

  1. 提出了一个新的视角来减少MABSA任务中噪声图像的负面影响。
  2. 设计了一个新颖的多粒度多课程去噪框架（M2DF），该框架与基础模型的选择无关。
  3. 在几个代表性模型上评估了去噪框架，包括当前的最先进模型，并在MABSA的三个子任务上展示了竞争性能。

M2DF框架通过调整训练数据的顺序来实现去噪，而不是通过设置阈值来过滤数据。文章通过广泛的实验结果表明，该框架在MABSA的三个子任务上一致地超越了现有的最先进工作。作者还提供了相关代码和数据集的链接。

此外，文章还回顾了MABSA和课程学习（Curriculum Learning, CL）的相关研究，并详细介绍了M2DF的方法论，包括噪声度量的定义和去噪课程的设计。最后，文章展示了实验设置、评估指标、与现有方法的比较结果以及对M2DF框架的深入分析和讨论。

主要贡献

这篇文章的主要贡献可以总结为以下几点：

  1. 新视角提出：文章提出了一个新的视角来减少多模态基于方面的细粒度情感分析（MABSA）任务中噪声图像的负面影响，而不需要通过过滤数据来实现。

  2. M2DF框架：文章提出了一个名为M2DF（Multi-grained Multi-curriculum Denoising Framework）的新型去噪框架。这个框架独立于基础模型的选择，意味着它可以被应用于多种不同的模型上。

  3. 实验验证：作者在多个代表性模型上评估了M2DF框架，包括当前的最先进模型，并在MABSA的三个子任务上展示了其竞争性能。

  4. 噪声度量和去噪课程设计：文章定义了粗粒度和细粒度的噪声度量，并设计了单一度量和多度数量的去噪课程，这些设计有助于模型在训练过程中更有效地从干净数据中学习，同时减少噪声数据的负面影响。

  5. 深入分析：文章不仅展示了实验结果，还对M2DF框架的不同模块进行了消融研究，分析了不同模块对性能的影响，并探讨了M2DF在不同噪声水平数据子集上的表现。

  6. 局限性讨论：作者还讨论了当前研究的局限性，并提出了未来研究的方向，这为后续的研究提供了思路。

模型图


实线①表示当前训练步骤选择粗粒度去噪课程，虚线②表示未选择粗粒度去噪课程。

技术细节

数据集中存在许多与文本无关的噪声图像，这将对模型学习产生负面影响。

一些研究人员开发了跨模态关系检测模块，通过设置阈值来过滤低质量的噪声图像。然而，依赖阈值不可避免地会过滤掉大量有用的图像信息。

因此，在这项工作中，考虑在不过滤数据的情况下减少噪声图像的负面影响

简单来说，就是多模态数据集中图像文本可能出现不对应的情况，这个时候数据可能就不那么准确可能会让模型练错，因此希望通过让模型在高质量的数据集中多练会以减少数据集中的噪声部分对模型的影响。

Coarse-grained Noise Metric 粗粒度噪声度量

就是通过句子和图像的相似度来对数据集的质量进行衡量
 

是句子经过CLIP的文本编码器的特征向量，cos表示计算余弦相似度。V就是对应的图像部分的CLIP编码表示。


相似度越低表明文本和图像越不匹配，说明这组数据越有可能是噪声

Fine-grained Noise Metric 细粒度噪声度量

就是通过句子中的方面词（名词）和图像中的物体的相似度来对数据集的质量进行衡量


（3）是使用斯坦福解析器提取的名词短语作为句子中的方面术语（因为方面词大多数都是名词）。
（4）是使用目标检测模型Mask-RCNN提取图像中的视觉目标。


 


相似度越低表明文本和图像越不匹配，说明这组数据越有可能是噪声

Single Denoising Curriculum 单一降噪课程


其中p(0)为预定初始值，设为0.01,T为去噪过程的持续时间。在时间步长t处，p(t)表示噪声度量的上限，模型只允许使用噪声度量dc或df小于p(t)的训练实例。


模型在训练过程中不再以完全随机的顺序呈现训练数据，而是在干净数据上花更多的时间训练，在有噪声数据上花更少的时间训练

##Multiple Denoising Curriculum 多重去噪课程


sθ值越高，表示当前去噪课程取得的进展越大

验证集上两个连续表现的比率来衡量每个去噪课程的有效性

算法伪代码


首先进行初始化。计算出数据集的粗粒度和细粒度度量值，并计算出一组结果的比值


然后根据验证集的表现动态选择进行粗粒度筛选还是细粒度筛选。

实验结果


JMASA任务（句子+图片——识别方面及其情感）的实验结果


MATE任务（句子+图片——识别方面）的实验结果


MASC（句子+图片+方面——识别方面情感）任务的实验结果

可以看到，使用这个去噪方法，确实能够一定程度上优化模型的性能。

代码运行

环境配置

python 3.7.13
torch 1.12.0+cu113
numpy 1.21.6
transformers==3.4.0
fastnlp==0.6.0
h5py

可以换源加速安装：

pip install 包名 --default-timeout=120 -i https://pypi.tuna.tsinghua.edu.cn/simple

数据集目录结构

├── /src/
│  ├── /data/
│  │  │  ├── /jsons/	       
│  │  │  │  ├── twitter15_info.json	 # twitter15数据集路径的配置文件       
│  │  │  │  ├── twitter17_info.json
│  │  │  │  ├── amended_similarity_by_region2015.json fine-grained similarity
│  │  │  │  ├── amended_similarity_by_region2017.json
│  │  │  │  ├── amended_similarity_by_whole2015.json coarse-grained similarity
│  │  │  │  ├── amended_similarity_by_whole2017.json
│  ├── /twitter2015/
│  ├── /twitter2017/
│  ├── /twitter2015_box_att_NER/
│  ├── /twitter2017_box_att_NER/

模型和数据集配置

网盘中的bart-base-model.zip中的内容解压到bart-base-model文件夹中
网盘中的pytorch_model.bin下载到checkpoint文件夹中
网盘中的twitter2015_box_att_NER.zip解压到src/data文件夹中

数据集路径配置可到twitter15_info.json修改

代码运行

  • Train and Test on twitter2015
sh 15_pretrain_full.sh

​​

从单模态到多模态：大模型架构演进与技术介绍
kuokay的博客
04-16 1415
人工智能领域的模型架构经历了从单模态（专注于单一数据类型）到多模态（融合多种数据类型）的跨越式发展。这一过程中，残差学习、注意力机制、对比学习等技术的突破推动了模型的性能提升和应用场景扩展。本文将深入解析五个里程碑模型——探讨其核心架构与技术创新，并梳理从单模态到多模态的技术演进路径。
多模态模型的演进和四种主流架构类型
声纹感知 洞察芯声
05-30 4929
我们对现在的多模态按照架构模式分为四类：A、B、C、D。A和B类型在模型内部层中深度融合多模态输入，可以实现细粒度控制模态信息流动，但需要大量训练数据和计算资源；C和D类型在输入层融合多模态输入，C类型具有模块化设计，可以容易地添加更多模态。D类型使用标记化，可以方便地训练不同模态，但需要训练通用标记器。
3-5+利用正交去噪自动编码器学习多模态.pdf
03-18
3-5+利用正交去噪自动编码器学习多模态
（2024|EMNLP|港中文，多模态数据去噪和重格式化，PubMedVision 数据集，HuatuoGPT-Vision）
qq_44681809的博客
02-15 1266
本文通过 MLLM 驱动的重格式化方法，从 PubMed 中提炼高质量医学视觉数据，构建了大规模的 PubMedVision 数据集，显著提升了医学 MLLM 的多模态能力，并训练了性能卓越的 HuatuoGPT-Vision 模型。
如何处理多模态数据噪声不均衡动态？天大等最新《低质量数据的多模态融合》综述
weixin_43564920的博客
05-07 1674
一些最近的研究实证和理论上表明，传统的多模态融合可能在野外的低质量多模态数据上失败，例如不平衡【7】【8】【9】【10】、噪声【11】或甚至损坏【12】的多模态数据。针对这一问题，旨在探索具有部分缺失模态的不完整多模态数据的信息的不完整多模态学习出现，并在近年来获得了越来越多的研究关注【52】。在以下部分中，我们通过最近的进展和多模态融合面临的技术挑战详细介绍了这一领域：在噪声多模态数据上的学习（第2节）、缺失模态插补（第3节）、平衡多模态融合（第4节）和动态多模态融合（第5节）。
多模态阅读笔记 Noise Estimation Using Density Estimation for Self-Supervised Multimodal Learning
阿里武的技术博客
01-12 1478
Noise Estimation Using Density Estimation for Self-Supervised Multimodal Learning 这篇文件讲的是， 按照现有多模态的任务， 往往会出现噪音的问题， 噪声使得模型一直得不到最好结果， 而这篇文章提出一个去噪方法，自监督的去训练一个去噪模块来消除噪声， 实验结果显示， 用此方法， 能够直接提高 VQA， Text-To-Video Retrieval 等任务的表现 本文贡献 证明多模态噪声的消除任务 可以归结为 多模态密度估
【AI视野·今日NLP 自然语言处理论文速览 第六十一期】Tue, 24 Oct 2023
TomRen
11-01 2438
AI视野·今日CS.NLP 自然语言处理论文速览 Tue, 24 Oct 2023 (showing first 100 of 207 entries) Totally 100 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers LINC: A Neurosymbolic Approach for Logical Reasoning by Combining Language Models with First-Order Lo
AIGC领域多模态大模型在建筑设计中的应用创新
AI天才研究院
05-09 752
建筑设计是融合艺术、工程、社会需求的复杂系统工程，传统流程存在效率低（方案迭代周期长）、跨专业协作难（建筑/结构/机电信息割裂）、创新受限（依赖经验驱动）等痛点。本文聚焦AIGC（生成式人工智能）领域的多模态大模型，探索其在建筑方案生成、参数化设计、跨专业协同等场景中的技术突破与应用创新，覆盖从技术原理到工程落地的全链路分析。全文共10个章节，从背景与概念出发，逐步深入技术原理（算法、数学模型）、实战案例（代码与流程）、应用场景（方案生成/协作/保护），最终总结趋势与挑战，附录解答常见问题。多模态大模型。
多模态基础模型：从专家到通用助手
qq_41200212的博客
11-17 1180
随着模型（例如 BERT、GPT 家族、CLIP（Radford et al.， 2021）和 DALL-E（Ramesh et al.， 2021a））的兴起，人工智能一直在经历范式转变，这些模型基于可以适应广泛下游任务的广泛数据进行训练。他们称这些模型为基础模型，以强调其关键的核心但不完整的特征：研究界方法的同质化和新功能的出现。
多模态大模型技术介绍
七刀的专栏
05-22 762
本文系统探讨了多模态大模型的技术演进、核心挑战、产业应用及未来趋势。首先，文章回顾了从单模态到多模态的技术跃迁，指出单模态模型在跨模态任务中的局限性，并介绍了多模态融合的技术突破，包括早期融合、中期融合和晚期融合。接着，文章分析了多模态大模型面临的核心挑战，如模态异构性、计算资源与能效瓶颈、安全与隐私风险，并提出了相应的解决方案。在产业应用方面，文章列举了智能医疗、工业质检和自动驾驶等领域的实际案例，展示了多模态技术的广泛应用。最后，文章展望了未来技术融合与生态构建的方向，强调跨学科协作与工程化沉淀的重要性
（2022|ICLR，扩散 GAN，少量步扩散，对抗散度，非饱和 GAN）用去噪扩散 GAN 解决生成学习难题
qq_44681809的博客
03-21 1408
由于少量步去噪无法保证去噪分布的高斯假设成立，本文建议使用多模态分布来建模去噪分布。在训练时，使用对抗损失匹配基于条件 GAN 的真实去噪分布和参数化去噪分布，该对抗损失通过最小化每个去噪步的对抗散度来定义。
15篇CV方向多模态融合优质paper汇总！
2401_82426425的博客
01-15 1555
实验表明，CDDFuse在红外-可见光图像融合、医学图像融合等任务上表现出色，并能提高语义分割和目标检测的性能。本文提出了跳跃交叉网络SkipcrossNets，一种灵活融合激光雷达点云与摄像机图像的架构，它通过层与层之间的前馈连接，实现了特征的增强传播和融合，有助于选择两个数据流中最匹配的特征层，并简化了网络复杂性。本文提供了时序数据的多模态自监督学习全面综述，包括：1）分类现有SSRL方法，2） 定义SSRL框架的关键组件，3）对比模型的目标函数、架构和应用，4）综述不同类别和模态的多模态技术。
多模态图像融合全新里程碑！性能暴涨至99.48％，效率提升4倍
m0_59235245的博客
07-17 1937
强烈建议所有做图像任务的伙伴，一定不要忽略这项至关重要的技术：多模态图像融合！它能将不同模态的信息结合，克服单一模态的图像信息量有限的问题，在提高图像处理任务的准确性和效率方面效果显著！比如新模型DeepM2CDL便实现了性能提升至99.48％的炸裂效果！而模型MACTFusion，则通过引入注意力机制，在性能提升的同时，训练速度快4倍！正是基于该方法效果卓越，各种改进层出不穷！简述：本篇论文提出了一种名为DeepMCDL的深度多尺度多模态卷积字典学习网络。
论文阅读：multimodal remote sensing survey 遥感多模态综述
qq_42740834的博客
01-13 1万+
从多模态表示，对齐，融合，跨模态转换，协同学习等5个大方面来介绍在遥感领域的分类和相关工作
多模态机器学习综述翻译(转载)
热门推荐
hello
10-08 2万+
文章：《Multimodal Machine Learning: A Survey and Taxonomy》多模态机器学习综述【摘要】我们对世界的体验是多模式的 - 我们看到物体，听到声音，感觉到纹理，闻到气味和尝到味道。模态是指某种事物发生或经历的方式，并且当研究问题包括多种这样的形式时，研究问题被描述为多模态。为了使人工智能在理解我们周围的世界方面取得进展，它需要能够一起解释这种多模信号。多模式机器学习旨在构建可以处理和关联来自多种模态信息的模型。这是一个充满活力的多学科领域，具有越来越重要的意义和非
多模态综述
qq_40438523的博客
12-03 5511
多模态综述介绍 参考文献:《Multimodal Machine Learning: A Survey and T axonomy》 介绍 我们身边的环境就是一个多模态的环境，看到的实体、听到的声音、闻到的气味和尝到的味觉。本篇综述不是着重于多模态的应用，而是重点关注多模态的方法和技术。多模态问题的定义在于数据来源是不同模态的数据，而这些数据具有异质性(heterogeneity)，则带来了多模态的五个挑战：representation, translation, alignment, fusion和co-
多模态学习综述 Multimodal Machine Learning A Survey and Taxonomy
VIEO
07-12 2481
Multimodal Machine Learning: A Survey and Taxonomy,"多模态机器学习综述
YOLO chp01-
最新发布
m0_52024881的博客
06-17 232
复用训练流程：比如你想拿同一套 train.py，测试不同模型结构（一个用 Swin 骨干、一个用 ResNet 骨干 ），或者对比不同学习率的效果，只需要准备多个配置文件，用 --cfg 指定就行，训练代码不用改。解耦代码和配置：代码（train.py ）负责 “执行训练逻辑”，配置文件负责 “定义训练细节”。想换模型结构、调超参数，改配置文件就好，不用动训练代码的核心逻辑，维护起来轻松。记录实验细节：每个配置文件对应一套实验参数，方便后续复盘 “当时用了啥参数训练出的模型” ，也能快速复现实验。
Python测试框架库之pytest使用详解
Rocky006的博客
06-13 1035
pytest作为Python测试领域的领先框架，以其简洁的语法、强大的功能和丰富的生态系统赢得了广泛认可。从基础的单元测试到复杂的集成测试，pytest都能提供优雅的解决方案。其fixture机制、参数化测试和灵活的配置选项，使得测试代码的编写和维护变得更加高效。
PHM2010数据集信号去噪
03-01
### PHM2010 数据集信号去噪的方法和技术 对于PHM2010数据集中信号的去噪处理，可以采用多种先进的技术来提升信号的质量。考虑到该数据集涉及复杂的机械设备运行状态监测，其中包含了不同类型的故障模式下的振动信号。 #### 小波阈值去噪 小波变换因其良好的时频局部化特性，在机械故障诊断中广泛应用。通过对原始信号进行多尺度分解，能够有效分离出高频噪声成分和低频有用信息。设定合理的阈值函数与门限参数后，再重构得到较为纯净的目标信号[^1]。 ```matlab % MATLAB代码实现小波阈值去噪 function denoisedSignal = waveletDenoising(signal, level, wname) % signal: 输入待去噪的一维向量形式的时间序列； % level: 分解层数; % wname: 所选用的小波基名称字符串. [C,L]=wavedec(signal,level,wname); THR=sqrt(2*log(length(signal))); C=wthcoef('d',C,L,'soft',THR); denoisedSignal=waverec(C,L,wname); end ``` #### 改进型EEMD算法 针对传统经验模态分解存在的端点效应及模态混叠现象，引入自适应白噪音辅助机制即集合经验模态分解(EEMD)，并通过优化IMFs筛选策略进一步提高降噪效果。此方法特别适用于非平稳随机过程分析[^2]。 ```matlab % EEMD改进版MATLAB伪代码框架示意 addpath('eemd'); % 假设已安装好对应工具包 imfs=eemd(x,Nstd,NE); % 对输入x执行N次加噪平均运算获取本征模态函数组 for i=1:length(imfs)-1 if isNoiseComponent(imfs{i}) continue; % 跳过判定为纯噪声分量的部分 end reconstructed_signal=reconstructed_signal+imfs{i}; end ``` #### 多分辨奇异值分解(SVD) 利用SVD可将矩阵映射至特征空间内完成维度压缩的同时达到抑制冗余的目的；结合多分辨率概念，则可以在更精细粒度下操作从而更好地保留细微结构特征而不至于丢失过多细节信息。 ```python import numpy as np from scipy.linalg import svd def multi_resolution_svd_denoise(matrix_data): U, s, Vh = svd(matrix_data, full_matrices=False) threshold = calculate_threshold(s) # 自定义计算截断标准 filtered_singular_values = [] for value in s: if value >= threshold: filtered_singular_values.append(value) else: filtered_singular_values.append(0) clean_matrix = np.dot(U * filtered_singular_values, Vh) return clean_matrix ``` 上述三种方案各有优劣之处，具体选择取决于实际应用场景需求以及对计算资源消耗考量等因素综合权衡决定。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值