多模态任务多粒度多课程去噪框架

✨✨ 欢迎大家来访Srlua的博文（づ￣3￣）づ╭❤～✨✨

🌟🌟 欢迎各位亲爱的读者，感谢你们抽出宝贵的时间来阅读我的文章。

我是Srlua小谢，在这里我会分享我的知识和经验。🎥

希望在这里，我们能一起探索IT世界的奥妙，提升我们的技能。🔮

记得先点赞👍后阅读哦~ 👏👏

📘📚 所属专栏：传知代码论文复现

欢迎访问我的主页：Srlua小谢 获取更多信息和资源。✨✨🌙🌙

​​

​​

目录

论文地址

主要内容

主要贡献

模型图

技术细节

Coarse-grained Noise Metric 粗粒度噪声度量

Fine-grained Noise Metric 细粒度噪声度量

Single Denoising Curriculum 单一降噪课程

算法伪代码

实验结果

代码运行

环境配置

数据集目录结构

模型和数据集配置

代码运行

---

 本文所有资源均可在该地址处获取。

论文地址

https://arxiv.org/pdf/2310.14605

主要内容

这篇文章介绍了一个名为M2DF（Multi-grained Multi-curriculum Denoising Framework）的新型多模态去噪框架，用于多模态基于方面的细粒度情感分析（MABSA）。MABSA是一项复杂的情感分析任务，它涉及到从文本和图像中提取特定方面的术语并确定其情感倾向。文章的主要贡献包括：

1. 提出了一个新的视角来减少MABSA任务中噪声图像的负面影响。
2. 设计了一个新颖的多粒度多课程去噪框架（M2DF），该框架与基础模型的选择无关。
3. 在几个代表性模型上评估了去噪框架，包括当前的最先进模型，并在MABSA的三个子任务上展示了竞争性能。

M2DF框架通过调整训练数据的顺序来实现去噪，而不是通过设置阈值来过滤数据。文章通过广泛的实验结果表明，该框架在MABSA的三个子任务上一致地超越了现有的最先进工作。作者还提供了相关代码和数据集的链接。

此外，文章还回顾了MABSA和课程学习（Curriculum Learning, CL）的相关研究，并详细介绍了M2DF的方法论，包括噪声度量的定义和去噪课程的设计。最后，文章展示了实验设置、评估指标、与现有方法的比较结果以及对M2DF框架的深入分析和讨论。

主要贡献

这篇文章的主要贡献可以总结为以下几点：

1. 新视角提出：文章提出了一个新的视角来减少多模态基于方面的细粒度情感分析（MABSA）任务中噪声图像的负面影响，而不需要通过过滤数据来实现。

2. M2DF框架：文章提出了一个名为M2DF（Multi-grained Multi-curriculum Denoising Framework）的新型去噪框架。这个框架独立于基础模型的选择，意味着它可以被应用于多种不同的模型上。

3. 实验验证：作者在多个代表性模型上评估了M2DF框架，包括当前的最先进模型，并在MABSA的三个子任务上展示了其竞争性能。

4. 噪声度量和去噪课程设计：文章定义了粗粒度和细粒度的噪声度量，并设计了单一度量和多度数量的去噪课程，这些设计有助于模型在训练过程中更有效地从干净数据中学习，同时减少噪声数据的负面影响。

5. 深入分析：文章不仅展示了实验结果，还对M2DF框架的不同模块进行了消融研究，分析了不同模块对性能的影响，并探讨了M2DF在不同噪声水平数据子集上的表现。

6. 局限性讨论：作者还讨论了当前研究的局限性，并提出了未来研究的方向，这为后续的研究提供了思路。

模型图

实线①表示当前训练步骤选择粗粒度去噪课程，虚线②表示未选择粗粒度去噪课程。

技术细节

数据集中存在许多与文本无关的噪声图像，这将对模型学习产生负面影响。

一些研究人员开发了跨模态关系检测模块，通过设置阈值来过滤低质量的噪声图像。然而，依赖阈值不可避免地会过滤掉大量有用的图像信息。

因此，在这项工作中，考虑在不过滤数据的情况下减少噪声图像的负面影响

简单来说，就是多模态数据集中图像文本可能出现不对应的情况，这个时候数据可能就不那