- 博客(226)
- 收藏
- 关注
RSS订阅原创 【TMFN】一种基于文本的多模态融合网络，具有多尺度特征提取和无监督对比学习，用于多模态情感分析
多模态情感分析在人机交互中起着至关重要的作用。目前的方法使用简单的子模型进行特征提取，忽略了多尺度特征和情绪的复杂性。文本、视觉和音频在MSA中各有其独特的特征，文本由于其丰富的语义通常提供更多的情感线索。然而，目前的方法平等对待模式，而不是最大化文本的优势。为了解决这些问题，我们提出了一种基于文本的多模态融合网络的多尺度特征提取和无监督对比学习（TMFN）方法。首先，我们提出了一种创新的金字塔结构多尺度特征提取方法，通过不同大小的卷积核捕获模态数据的多尺度特征，并通过通道关注机制增强关键特征。
2025-05-13 21:48:12
745
原创 【DLF】基于语言的多模态情感分析
多模态情感分析（MSA）利用语言、视觉和音频等异构模式来增强对人类情感的理解。虽然现有模型通常侧重于跨模态提取共享信息或直接融合异构模态，但由于对所有模态的平等处理以及模态对之间信息的相互传递，这些方法可能会引入冗余和冲突。为了解决这些问题，我们提出了一个非纠缠语言（disentangded - language - focused， DLF）多模态表示学习框架，该框架结合了一个特征解纠缠模块来分离模态共享和模态特定的信息。为了进一步减少冗余和增强语言目标特征，引入了四种几何度量来改进解纠缠过程。
2025-05-10 20:46:43
949
原创 【UEFN】用于可靠多模态情感分析的高效不确定性估计融合网络
类型数据不确定性模型不确定性来源数据本身的噪声或模糊性（如模糊图像）模型训练不足、数据分布差异（如训练数据与测试数据不匹配）别名任意不确定性认知不确定性是否可减少不可消除（数据固有属性）可通过优化模型或增加数据缓解例子图像模糊导致识别困难训练数据不足，模型未见过某些场景不确定性估计的常用方法方法原理优缺点蒙特卡罗 Dropout。
2025-05-09 16:52:44
803
原创 基于互信息分解表示学习的多模态情感分析
多模态情感分析试图利用各种类型的信号来识别潜在的情感和情感。该领域的一个关键挑战在于多模态表征学习，其目的是开发有效的方法将多模态特征整合到内聚表征中。最新的研究成果包括两个方面：一个是将多模态特征分解为模态不变性和模态特异性特征，另一个是利用互信息来增强模态融合。这两项战略都显示出有效性，并取得了显著的成果。为此，本文提出了一种新的学习框架，该框架结合了这两种学习方法的优点，称为基于互信息的解纠缠多模态表示学习。我们的方法包括在特征提取和融合阶段估计不同类型的信息。具体地说，我们。
2025-05-08 20:52:06
938
原创 【AtCAF】多模态情感分析中基于注意的因果意识融合网络
多模态情绪分析（MSA）涉及使用各种感官数据模态来解释情绪。传统的多模态分析模型往往忽略了模态之间的因果关系，导致虚假的相关性和无效的跨模态注意。为了解决这些限制，我们从因果关系的角度提出了基于注意的因果意识融合（AtCAF）网络。为了捕获文本的因果关系感知表示，我们引入了利用前门调整的因果关系感知文本去偏模块（CATDM）。此外，我们使用反事实跨模态注意（CCoAt）模块在模态融合中整合因果信息，从而通过纳入更多因果意识线索来提高聚合质量。
2025-05-08 00:33:02
788
原创 【MVCP】基于解纠缠表示学习和跨模态-上下文关联挖掘的多模态情感分析
多模态情感分析旨在从多模态数据中提取用户表达的情感信息，包括语言、声学和视觉线索。然而，多模态数据的异质性导致了模态分布的差异，从而影响了模型有效整合多模态互补性和冗余性的能力。此外，现有的方法通常在获得表征后直接合并模式，忽略了它们之间潜在的情感相关性。为了解决这些挑战，我们提出了一个多视图协同感知（MVCP）框架，用于多模态情感分析。该框架主要由两个模块组成：多模态解纠缠表示学习（MDRL）和跨模态上下文关联挖掘（CMCAM）。MDRL模块采用一个联合学习层，包括一个通用编码器和一个专用编码器。
2025-05-07 16:15:58
797
原创 【SDRS】面向多模态情感分析的情感感知解纠缠表征转移
我们设计了四个transformerstyle编码器的极性特定的和非极性的语义信息的两个非言语模态A和V，分别。在特征提取之后，我们可以获得原始非语言特征Xm（m ∈ {A，V}）和文本特征T。这些特征被馈送到编码器中以获得相应的独立语义表示Ip m：其中，Xm是要解离的原始特征，Ym是另一个非语言特征，是粗粒度极性编码器，是粗粒度非极性语义编码器。我们进一步设计了细粒度的情感和非情感语义编码器和解码器。与极性编码器相比，情感编码器的底层具有使用Spm的三个以上的CA层。
2025-05-06 22:25:03
1086
原创 【TF-BERT】基于张量的融合BERT多模态情感分析
（背景与问题）由于单模态情感识别在复杂的现实应用中的局限性，多模态情感分析（MSA）得到了极大的关注。传统方法通常集中于使用Transformer进行融合。然而，这些传统的方法往往达不到，因为Transformer只能同时处理两种模态，导致信息交换不足和情感数据的潜在丢失。（方法提出）针对传统跨模态Transformer模型一次只能处理两种模态的局限性，提出了一种基于张量的融合BERT模型（TF-BERT）。
2025-05-04 18:25:05
1011
原创 【DecAlign】用于解耦多模态表征学习的分层跨模态对齐
（问题引入1~2句）多模态表征学习的目标是在多种模态中获取共享的和互补的语义信息。然而，不同模式的内在异质性对实现有效的跨模式协作和整合提出了重大挑战.（方法提出3~4句）为了解决这一问题，我们引入了DecAlign，一个新颖的层次化跨模态比对框架，旨在将多模态表示解耦为模态唯一（异构）和模态共有（同构）特征。为了处理异质性，我们采用了一种原型引导的最佳交通路线策略，该策略利用高斯混合模型和多边际交通计划，从而在保持交通方式独特性的同时减轻了分布差异。
2025-05-02 10:59:03
913
原创 【DeepMLF】具有可学习标记的多模态语言模型，用于情感分析中的深度融合
基于Transformer架构论文[26]，我们简要概述了其架构，特别是本文中使用的预规范仅编码器和仅解码器[58]设计。我们的演示保持了一个抽象级别，以便它可以封装Transformer变体，特别是注意力机制[59]，规范化和前馈组件[60]中的不同风格。典型的编码器层设计由一个多头自注意（SA）模块和一个前馈（FFW）模块组成[26]。
2025-05-01 09:58:02
873
原创 conformer编码器
最近，基于Transformer和卷积神经网络（CNN）的模型在自动语音识别（ASR）中显示出有希望的结果，优于递归神经网络（RNN）。Transformer模型擅长捕捉基于内容的全局交互，而CNN则有效地利用了局部特征。在这项工作中，我们通过研究如何将联合收割机卷积神经网络和transformers结合起来，以参数有效的方式对音频序列的局部和全局依赖性进行建模，从而实现两全其美。在这方面，我们提出了。Conformer显著优于之前的基于Transformer和CNN的模型，实现了最先进的精度。
2025-04-25 19:35:53
667
原创 【DE-III】基于细节增强的模态内和模态间交互的视听情感识别
在视听情感识别（AVER）中，捕捉视频和音频模态之间复杂的时间关系是至关重要的。为此，本文提出了一种用于AVER的细节增强的模态内和模态间交互网络（DE-III）。融合模块将光流估计与对应的视频帧相结合以增强面部纹理变化的表示。在3个基准数据集上的实验结果表明，无论是在具体情感识别还是连续情感识别方面，本文提出的模型都优于所有现有的情感识别方法。为鼓励进一步研究并确保可复制性，我们将在接受后发布完整代码。
2025-04-25 18:57:19
562
原创 【T-MRMSM】文本引导多层次交互多尺度空间记忆融合多模态情感分析
（背景）近年来，随着多模态数据量的迅速增加，多模态情感分析（MSA）越来越受到关注.该方法通过整合不同数据模态间的信息，提高了情感极性提取的准确性，从而实现了信息的全面融合，提高了情感分析的精度。（针对创新处的不足）然而，现有的深度模型往往忽略了空间和全局记忆信息对情感分析的辅助作用。此外，对语篇模态的强调往往会阻碍视觉和听觉模态信息的表达。（整个框架的创新）为解决该问题，提出了一种基于文本引导的多层次表示集成和多尺度空间-记忆信息融合模型T-MRMSM。
2025-04-25 14:05:30
1328
原创 【UFEN】基于多层特征融合和多任务学习的多模态情感分析
主要挑战包括：1、模型如何在单一模态中提取情感信息，并实现多模态信息的互补传输；2、在单一模态中体现的情绪与多模态标签不一致的情况下，如何输出相对稳定的预测；3、当单模态信息不完整或特征提取性能不佳时，该模型如何确保高精度。
2025-01-21 21:59:08
1887
原创 【MAMSA】基于多注意力的多模态情感分析
特征编码模块、自适应注意交互模块（AAI）、情感关联表示模块（SA）、层次融合模块（HF）和情感预测模块
2025-01-20 23:37:49
2719
2
原创 【协程库】协程调度
协程调度是指管理和控制多个协程在程序中的执行顺序和时机的过程。协程是一种轻量级的、用户态的线程，允许在单个线程内实现并发执行。在前面的协程模块中，对于每个协程，都需要用户手动调用协程的resume方法将协程运行起来，然后等协程运行结束并返回，再运行下⼀个协程。这种运行协程的方式其实是用户自己在挑选协程执行，相当于用户在充当调度器，显然不够灵活。引入协程调度后，则可以先创建⼀个协程调度器，然后把这些要调度的协程传递给调度器，由调度器负责把这些协程⼀个⼀个消耗掉。
2024-12-04 21:27:46
1217
原创 基于变换融合和情感层次表征学习的多标签多模态情感识别
三区，2023年，魔改transformer，最大的创新在于连分类头都用了transformer(?)
2024-12-03 18:04:59
1474
原创 【LMR-CBT】基于CB-Transformer的学习模态融合表征在非对齐多模态序列中的情感识别
0.41MB，轻量化，半个transform
2024-12-02 18:24:41
1047
原创 C++实现Raft算法之辅助函数
快照的作用是将一段时间内的所有日志合并为一个单一的状态快照，这样即使日志非常庞大，我们也能通过加载快照来恢复系统状态，避免从日志中逐条重放每一个历史操作。假设一个场景：一个节点在某个任期内投票给了候选人A，然后节点崩溃并重启，如果没有持久化m_votedFor，节点在重启后不知道它已经投过票了，它可能会再次投票给候选人B，这一过程导致出现重复投票，违反了Raft协议的规则。假设你有一个系统，系统执行了多个操作，比如读和写，这些操作是由多个客户端发起的，执行的顺序可能是乱序的，或者说存在并发的情况。
2024-11-28 08:55:18
739
原创 C++共享智能指针
C++中没有垃圾回收机制，必须自己释放分配的内存，否则就会造成内存泄漏。解决这个问题最有效的方式是使用智能指针。智能指针是存储指向动态分配(堆)对象指针的类，用于生存期的控制，能够确保在离开指针所在作用域时，自动销毁动态分配的对象，防止内存泄漏。C++提供了三种智能指针，使用前需要引用头文件<memory>：std::shared_ptr：共享的智能指针std::shared_ptr：独占的智能指针。
2024-11-23 17:23:30
1083
原创 【MySQL基础刷题】总结题型（三）
我们可以先找到所有的产品，再找到所有 2019-08-16 前有修改的产品和他们最新的价格，使用 left join 将两个查询联合。如果产品没有价格，说明没有修改过，设置为 10，如果有价格，设置为最新的价格。请注意，当员工只加入一个部门的时候，那这个部门将默认为他的直属部门，虽然表记录的值为’N’.编写一个解决方案，找出在 2019-08-16 时全部产品的价格，假设所有产品在修改前的价格都是 10。本题的关键点在找到 2019-08-16 前所有有改动的产品及其最新价格和没有没有修改过价格的产品。
2024-11-14 21:01:48
649
原创 算法闭关修炼百题计划（八）
也可以通过左移变为“zab”等。因此，“abc”、“bcd”、“xyz”等字符串具有相同的“移位序列”。以window[c]>1为缩小窗口的条件，而不是长度大于k为缩小窗口的条件，因为如果以无重复为条件的话，当长度为k的时候，无重复的字符也自然为k，这样逻辑清晰简洁。输入：strings = [“abc”,“bcd”,“acef”,“xyz”,“az”,“ba”,“a”,“z”]输出：[[“acef”],[“a”,“z”],[“abc”,“bcd”,“xyz”],[“az”,“ba”]]
2024-11-14 15:41:35
954
原创 【MMIN】缺失模态想象网络用于不确定缺失模态的情绪识别
在以往的研究中，多模态融合已被证明可以提高情绪识别的性能。然而，在实际应用中，我们经常会遇到模态丢失的问题，而哪些模态会丢失是不确定的。这使得固定多模态融合在这种情况下失效。在这项工作中，我们提出了一个统一的模型，缺失情态想象网络（MMIN），以处理不确定的缺失情态问题。MMIN学习鲁棒联合多模态表示，在给定可用模态的情况下，可以预测任意缺失模态在不同缺失模态条件下的表示。在两个基准数据集上的综合实验表明，统一的MMIN模型在不确定缺失模态测试条件和全模态理想测试条件下都显著提高了情绪识别性能。
2024-11-14 14:20:04
1631
1
原创 算法闭关修炼百题计划（七）
在这个问题中，深拷贝的知识点是指创建一个完全独立的复制链表，其中每个节点都是原链表中节点的独立副本。具体来说，原链表中的每个节点不仅要复制他的值和next指针，还要复制他的random指针（指向链表中的任意节点或空指针）。这个方法的核心是将链表的节点复制一份并插入到原链表中，然后调整随机指针，最后将原链表和复制的链表分离。findMedian()如果两个堆的大小相等，返回两个堆顶元素的平均值，如果堆的大小不等，直接返回大根堆的堆顶元素，因为它代表了数据流的中位数。中位数是有序整数列表中的中间值。
2024-11-13 20:06:10
947
原创 【TMT】多模态情感识别的符号解纠缠互变
多模态情感识别是一项复杂的挑战，因为它涉及到使用各种模式（如视频、文本和音频）识别人类情感。现有方法主要关注多模态数据的融合信息，但忽略了对情绪有不同贡献的模态特定异质性特征的相互作用，导致结果不理想。为了解决这一挑战，我们提出了一种新的Token-disentangling Mutual Transformer (TMT)，通过有效地分离和交互模态间的情感一致性特征和模态内的情感异质性特征，用于鲁棒的多模态情感识别。具体来说，TMT包括两个主要模块：多模态情感Token解纠缠和Token相互转换。
2024-11-11 11:34:18
1124
原创 【DCCMCI】多模态情感分析的层次去噪、表征解纠缠和双通道跨模态-上下文交互
在处理模态表征中的噪声特征、消除模态表征之间情感信息的实质性差距以及探索表达模态之间不同情感的上下文信息方面仍然存在挑战。为了应对这些挑战，本文提出了一个新的多模态情感分析（MSA）框架。确保了公共和私人情感信息的提取，同时消除了模态表示的干扰噪声解决情感信息在模态之间分布不均的问题通过从文本表示中提取与非文本表示相关的情感信息来增强非文本表示。
2024-11-09 22:42:51
1610
原创 【RMA】基于知识注入和模糊学习的多模态歧义分析
多模态情感分析（MSA）利用互补的多模态特征来预测情感极性，主要涉及语言、视觉和音频三种模态。现有的多模态融合方法主要考虑不同模态的互补性，而忽略了模态之间的冲突所导致的歧义（即文本模态预测积极情绪，视觉模态预测消极情绪）。为了减少这些冲突，我们开发了一种新的多模态歧义学习框架，即RMA，通过知识注入解决多模态歧义和用于多模态情感分析的歧义学习。具体来说，我们引入和过滤外部知识来增强跨模态情感极性预测的一致性。
2024-11-09 01:41:03
1204
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人