- 博客(209)
- 收藏
- 关注
RSS订阅原创 【UFEN】基于多层特征融合和多任务学习的多模态情感分析
主要挑战包括：1、模型如何在单一模态中提取情感信息，并实现多模态信息的互补传输；2、在单一模态中体现的情绪与多模态标签不一致的情况下，如何输出相对稳定的预测；3、当单模态信息不完整或特征提取性能不佳时，该模型如何确保高精度。
2025-01-21 21:59:08
1505
原创 【MAMSA】基于多注意力的多模态情感分析
特征编码模块、自适应注意交互模块（AAI）、情感关联表示模块（SA）、层次融合模块（HF）和情感预测模块
2025-01-20 23:37:49
1900
原创 【协程库】协程调度
协程调度是指管理和控制多个协程在程序中的执行顺序和时机的过程。协程是一种轻量级的、用户态的线程，允许在单个线程内实现并发执行。在前面的协程模块中，对于每个协程，都需要用户手动调用协程的resume方法将协程运行起来，然后等协程运行结束并返回，再运行下⼀个协程。这种运行协程的方式其实是用户自己在挑选协程执行，相当于用户在充当调度器，显然不够灵活。引入协程调度后，则可以先创建⼀个协程调度器，然后把这些要调度的协程传递给调度器，由调度器负责把这些协程⼀个⼀个消耗掉。
2024-12-04 21:27:46
1134
原创 基于变换融合和情感层次表征学习的多标签多模态情感识别
三区，2023年，魔改transformer，最大的创新在于连分类头都用了transformer(?)
2024-12-03 18:04:59
1440
原创 C++实现Raft算法之辅助函数
快照的作用是将一段时间内的所有日志合并为一个单一的状态快照，这样即使日志非常庞大，我们也能通过加载快照来恢复系统状态，避免从日志中逐条重放每一个历史操作。假设一个场景：一个节点在某个任期内投票给了候选人A，然后节点崩溃并重启，如果没有持久化m_votedFor，节点在重启后不知道它已经投过票了，它可能会再次投票给候选人B，这一过程导致出现重复投票，违反了Raft协议的规则。假设你有一个系统，系统执行了多个操作，比如读和写，这些操作是由多个客户端发起的，执行的顺序可能是乱序的，或者说存在并发的情况。
2024-11-28 08:55:18
716
原创 C++共享智能指针
C++中没有垃圾回收机制，必须自己释放分配的内存，否则就会造成内存泄漏。解决这个问题最有效的方式是使用智能指针。智能指针是存储指向动态分配(堆)对象指针的类，用于生存期的控制，能够确保在离开指针所在作用域时，自动销毁动态分配的对象，防止内存泄漏。C++提供了三种智能指针，使用前需要引用头文件<memory>：std::shared_ptr：共享的智能指针std::shared_ptr：独占的智能指针。
2024-11-23 17:23:30
1049
原创 【MySQL基础刷题】总结题型（三）
我们可以先找到所有的产品，再找到所有 2019-08-16 前有修改的产品和他们最新的价格，使用 left join 将两个查询联合。如果产品没有价格，说明没有修改过，设置为 10，如果有价格，设置为最新的价格。请注意，当员工只加入一个部门的时候，那这个部门将默认为他的直属部门，虽然表记录的值为’N’.编写一个解决方案，找出在 2019-08-16 时全部产品的价格，假设所有产品在修改前的价格都是 10。本题的关键点在找到 2019-08-16 前所有有改动的产品及其最新价格和没有没有修改过价格的产品。
2024-11-14 21:01:48
609
原创 算法闭关修炼百题计划（八）
也可以通过左移变为“zab”等。因此，“abc”、“bcd”、“xyz”等字符串具有相同的“移位序列”。以window[c]>1为缩小窗口的条件，而不是长度大于k为缩小窗口的条件，因为如果以无重复为条件的话，当长度为k的时候，无重复的字符也自然为k，这样逻辑清晰简洁。输入：strings = [“abc”,“bcd”,“acef”,“xyz”,“az”,“ba”,“a”,“z”]输出：[[“acef”],[“a”,“z”],[“abc”,“bcd”,“xyz”],[“az”,“ba”]]
2024-11-14 15:41:35
939
原创 【MMIN】缺失模态想象网络用于不确定缺失模态的情绪识别
在以往的研究中，多模态融合已被证明可以提高情绪识别的性能。然而，在实际应用中，我们经常会遇到模态丢失的问题，而哪些模态会丢失是不确定的。这使得固定多模态融合在这种情况下失效。在这项工作中，我们提出了一个统一的模型，缺失情态想象网络（MMIN），以处理不确定的缺失情态问题。MMIN学习鲁棒联合多模态表示，在给定可用模态的情况下，可以预测任意缺失模态在不同缺失模态条件下的表示。在两个基准数据集上的综合实验表明，统一的MMIN模型在不确定缺失模态测试条件和全模态理想测试条件下都显著提高了情绪识别性能。
2024-11-14 14:20:04
1511
1
原创 算法闭关修炼百题计划（七）
在这个问题中，深拷贝的知识点是指创建一个完全独立的复制链表，其中每个节点都是原链表中节点的独立副本。具体来说，原链表中的每个节点不仅要复制他的值和next指针，还要复制他的random指针（指向链表中的任意节点或空指针）。这个方法的核心是将链表的节点复制一份并插入到原链表中，然后调整随机指针，最后将原链表和复制的链表分离。findMedian()如果两个堆的大小相等，返回两个堆顶元素的平均值，如果堆的大小不等，直接返回大根堆的堆顶元素，因为它代表了数据流的中位数。中位数是有序整数列表中的中间值。
2024-11-13 20:06:10
928
原创 【TMT】多模态情感识别的符号解纠缠互变
多模态情感识别是一项复杂的挑战，因为它涉及到使用各种模式（如视频、文本和音频）识别人类情感。现有方法主要关注多模态数据的融合信息，但忽略了对情绪有不同贡献的模态特定异质性特征的相互作用，导致结果不理想。为了解决这一挑战，我们提出了一种新的Token-disentangling Mutual Transformer (TMT)，通过有效地分离和交互模态间的情感一致性特征和模态内的情感异质性特征，用于鲁棒的多模态情感识别。具体来说，TMT包括两个主要模块：多模态情感Token解纠缠和Token相互转换。
2024-11-11 11:34:18
1028
原创 【DCCMCI】多模态情感分析的层次去噪、表征解纠缠和双通道跨模态-上下文交互
在处理模态表征中的噪声特征、消除模态表征之间情感信息的实质性差距以及探索表达模态之间不同情感的上下文信息方面仍然存在挑战。为了应对这些挑战，本文提出了一个新的多模态情感分析（MSA）框架。确保了公共和私人情感信息的提取，同时消除了模态表示的干扰噪声解决情感信息在模态之间分布不均的问题通过从文本表示中提取与非文本表示相关的情感信息来增强非文本表示。
2024-11-09 22:42:51
1414
原创 【RMA】基于知识注入和模糊学习的多模态歧义分析
多模态情感分析（MSA）利用互补的多模态特征来预测情感极性，主要涉及语言、视觉和音频三种模态。现有的多模态融合方法主要考虑不同模态的互补性，而忽略了模态之间的冲突所导致的歧义（即文本模态预测积极情绪，视觉模态预测消极情绪）。为了减少这些冲突，我们开发了一种新的多模态歧义学习框架，即RMA，通过知识注入解决多模态歧义和用于多模态情感分析的歧义学习。具体来说，我们引入和过滤外部知识来增强跨模态情感极性预测的一致性。
2024-11-09 01:41:03
1134
原创 【MRAN】情感分析中情态缺失问题的多模态重构和对齐网络
为此，我们提出了多模态重构和对齐网络（MRAN）来解决情态缺失问题，特别是缓解由于文本情态缺失而导致的衰退。我们首先提出了多模态嵌入和缺失索引嵌入来指导缺失模态特征的重建。然后，将视觉和听觉特征投射到文本特征空间中，三种模态的特征都被学习到与其对应情感类别的词嵌入接近，使视觉和听觉特征与文本特征对齐。在这种以文本为中心的方式下，视觉和听觉形式受益于更具信息性的文本形式。从而提高了网络在不同情态缺失情况下的鲁棒性，特别是在文本情态缺失的情况下。
2024-11-08 15:15:50
1810
原创 【MM-Align】学习基于输运的最优对齐动力学，快速准确地推断缺失模态序列
现有的多模态任务主要针对完整的输入模态设置，即每个模态在训练集和测试集中要么是完整的，要么是完全缺失的。然而，随机缺失的情况仍然没有得到充分的研究。在本文中，我们提出了一种新的方法MM-Align来解决模态缺失推理问题。具体而言，我们提出了1)基于最优传输（OT）理论的对准动力学学习模块，用于间接缺失数据的输入；2)一种去噪训练算法，可同时增强插值结果和骨干网性能。与以往专注于缺失输入重建的方法相比，MM-Align学习捕捉和模仿模态序列之间的对齐动态。
2024-11-08 11:17:42
804
原创 【MissModal】提高多模态情感分析对缺失情态的鲁棒性
为了提高测试中对缺失模态的鲁棒性，我们提出了一种名为MissModal的新型多模态表示学习方法，其架构如图2所示。为了获得特定于模态的表示，我们同时，对于声学和视觉模态，我们使用两个双向lstm （Hochreiter和Schmidhuber， 1997）捕获时间特征，使用两个3层单峰变压器（Vaswani et al ., 2017）进一步编码全局自注意信息。对于U∈{A， V}，声视编码器表示为：特别地，我们取的[CLS]令牌和。
2024-11-07 21:31:09
1315
原创 【CTFN】基于耦合翻译融合网络的多模态情感分析的层次学习
多模态情感分析是一个具有挑战性的研究领域，涉及多个异构模态的融合。主要的挑战是在多模式融合过程中出现一些缺失的模式。然而，现有的技术需要所有的模态作为输入，因此在预测时间对缺失的模态很敏感。在这项工作中，首次提出了耦合翻译融合网络（CTFN），通过耦合学习来建模双向相互作用，确保了对缺失模态的鲁棒性。具体来说，为了提高翻译性能，提出了循环一致性约束，允许我们直接丢弃译码器，只包含Transformer的编码器。这可能有助于一个更轻的模型。由于耦合学习，CTFN能够并行进行双向交叉模态相关。
2024-11-07 17:58:39
1748
原创 【CIF-MMIN】基于对比学习的缺失模态多模态情感识别模态不变特征获取
多模态情感识别（MER）旨在通过探索跨模态的互补信息来理解人类表达情感的方式。然而，很难保证全模态数据在真实场景中总是可用的。为了处理缺失模态，研究人员着重研究了跨模态缺失模态想象过程中有意义的联合多模态表征学习。然而，由于“模态差距”问题，跨模态想象机制极易产生误差，从而影响想象的准确性，从而影响最终的识别性能。为此，我们将模态不变特征的概念引入到缺失模态想象网络中1)基于对比学习的新型模态不变特征提取模块；2)基于想象不变量特征的鲁棒想象模块，在缺失条件下重构缺失信息。
2024-11-07 10:15:11
1357
原创 【CMCL】多模态情感识别的跨模态对比学习
近年来，多模态情感识别因其能够通过整合多模态信息来提高情感识别的准确性而受到越来越多的关注。然而，模态差异导致的异质性问题对多模态情感识别提出了重大挑战。在本文中，我们提出了一个新的框架——跨模态对比学习（CMCL），它具体而言，我们利用实验结果表明，我们的方法在三个基准数据集上达到了最先进的性能，并且优于现有的基线模型。我们的工作证明了跨模态对比学习和数据增强在多模态情感识别中的有效性，并为该领域的未来研究提供了有价值的见解。
2024-11-06 20:59:58
1564
原创 【EMMR】不确定缺失模态下多模态情感分析的不一致性缓解
针对多模态情感分析中的情态缺失问题，当情态缺失导致情感发生变化时，会出现不一致现象。决定整体语义的缺失情态可以被认为是关键的缺失情态。然而，以前的研究都忽略了不一致现象，简单地丢弃缺失的模态，或者仅仅从可用的模态中生成相关的特征。忽略关键的缺失情态格可能导致错误的语义结果。为了解决这个问题，我们提出了一个基于集成的缺失模态重构（EMMR）网络来检测和恢复关键缺失模态的语义特征。具体来说，我们首先通过主干编码器-解码器网络学习剩余模态的联合表示。然后，
2024-11-06 13:26:14
1619
2
原创 【IF-MMIN】利用模态不变性特征进行缺失模态的鲁棒多模态情感识别
多模态情感识别利用跨模态的互补信息来获得性能。然而，我们不能保证所有模式的数据总是存在于实践中。在跨模态数据缺失预测研究中，异质性模态之间的固有差异即模态差距是一个挑战。为了解决这个问题，我们提出在缺失模态想象网络（IF-MMIN）中使用不变特征，该网络包括两个新的机制：1)全模态场景下基于中心矩差异（CMD）距离的不变特征学习策略；2)利用基于不变特征的想象模块（IF-IM）来缓解缺失模态预测过程中的模态差距，从而提高多模态联合表示的鲁棒性。
2024-11-05 16:03:13
1577
原创 【MMAN-M2】基于缺失模态编码器的多多头关注网络
多模态融合是多模态学习领域的研究热点。以往的多模态融合任务大多是基于完整模态的。现有的缺失多模态融合研究没有考虑模态的随机缺失，缺乏鲁棒性。大多数方法都是基于缺失模态和非缺失模态之间的相关性，而忽略了缺失模态的语境信息。考虑到以上两个问题，我们设计了一个基于缺失模态编码器的多多头关注网络（mmman - m2）。首先，利用多头注意力网络对整个序列进行潜在特征提取，表示单个模态，然后进行融合；然后，通过优化缺失和非缺失特征数据的多模态融合结果提取缺失模态上下文特征，并通过编码模块对缺失模态进行编码；最后，利用
2024-11-05 10:53:56
1000
原创 【FNENet】基于帧级非语言特征增强的情感分析
多模态情感分析（Multimodal Sentiment Analysis， MSA）综合利用多模态数据获取更准确的情感属性，在社交媒体分析、用户体验评价、医疗健康等领域有着重要的应用。值得注意的是，以往的研究很少关注语言（文本）和非语言（听觉和视觉）模式之间初始表征粒度的不一致性。因此，他们之间的情感信息不平衡使交互过程复杂化，最终影响模型的性能。为了解决这一问题，本文提出了一种帧级非语言特征增强网络（FNENet），通过缩小模态之间的差距和整合异步情感信息来提高MSA的性能。
2024-11-02 16:18:04
1000
原创 【CENet】多模态情感分析的跨模态增强网络
多模态情感分析（MSA）在智能问答、计算机辅助心理治疗和视频理解等领域发挥着重要的作用，近年来引起了人们的广泛关注。它利用多模态信号，包括口头语言、面部手势和声音行为来识别视频中的情绪。在MSA中，语言形态通常优于非语言形态。因此，加强语言在语篇分析中的重要性将是提高识别准确率的重要途径。考虑到句子的意义在不同的非语言语境中往往是不同的，将非语言信息与文本表征相结合有助于准确理解话语所传达的情感。在本文中，我们提出了一个跨模态增强网络（CENet）模型，通过将视觉和声学信息集成到语言模型中来增强文本表示。
2024-11-01 20:24:22
1313
原创 【MTMSA】不确定缺失模态下基于情态翻译的多模态情感分析
不确定缺失模态的多模态情感分析对情感分析提出了新的挑战。为了解决这个问题，已经提出了考虑缺失模态的有效MSA模型。然而，现有研究仅采用拼接操作进行特征融合，忽略了不同模态之间的深层相互作用。此外，现有的研究未能充分利用文本情态，而情态在情感分析中可以达到更高的准确性。为了解决上述问题，我们提出了一种基于模态翻译的MTMSA模型（MTMSA），该模型对不确定缺失模态具有鲁棒性。
2024-10-30 22:08:24
1390
5
原创 算法闭关修炼百题计划（六）
给定一个二叉树的根节点 root ，和一个整数 targetSum ，求该二叉树里节点值之和等于 targetSum 的 路径 的数目。search和startswith的区别就是search必须是一个字符串结尾的，也就是要有结尾标记，而startswith可以没有。一个有序数组对于 BST 来说就是中序遍历结果，根节点在数组中心，数组左侧是左子树元素，右侧是右子树元素。前缀和的技巧用到树上来，用preSumCount来记录路径和，以及该路径和出现的次数。遍历图结构，就可以判断环了。给行数，实现杨辉三角。
2024-10-28 10:24:03
1221
原创 【TATE】基于标签编码不确定的缺失模态鲁棒多模态情感分析
多模态情感分析旨在从多个数据源提取情感，通常假设所有模态都可用。在实践中，这样一个强有力的假设并不总是成立，当部分模态缺失时，大多数多模态情感分析方法可能会失败。一些现有的作品已经开始解决缺少情态的问题；但是只考虑了单一模态缺失的情况，而忽略了实际更普遍的多模态缺失的情况。为此，在本文中，我们提出了一个TagAssisted Transformer Encoder （TATE）网络来处理不确定模态缺失问题。具体来说，我们设计了一个标签编码模块来覆盖单模态和多模态的缺失情况，从而引导网络关注那些缺失的模态。
2024-10-24 08:33:07
1400
原创 算法闭关修炼百题计划（五）
现在你需要从两个不同的数组中选择两个整数（每个数组选一个）并且计算它们的距离。一开始用第一个元素sort了，这样反而会出错，因为一个元素的数组可能是其他数组的中间值，这种情况他应该和左右两端都比较才对。所以注意sn == tn的情况，return的是flag，因为如果是true的话，flag一定是变化过一次的！现以某种顺序 连接 数组 nums 中所有元素的 二进制表示 ，请你返回可以由这种方法形成的 最大 数值。输入：s = “abc”, shift = [[0,1],[1,2]]
2024-10-23 10:33:32
658
原创 【贪心算法】刷刷刷刷刷刷题（下）
在计算是否有峰值的时候，大家知道遍历的下标 i ，计算 prediff（nums[i] - nums[i-1]） 和 curdiff（nums[i+1] - nums[i]），如果prediff < 0 && curdiff > 0 或者 prediff > 0 && curdiff < 0 此时就有波动就需要统计。因为我们在计算 prediff（nums[i] - nums[i-1]） 和 curdiff（nums[i+1] - nums[i]）的时候，至少需要三个数字才能计算，而数组只有两个数字。
2024-10-23 01:16:17
1074
原创 【贪心算法】刷刷刷刷刷刷题（上）
定义cover为每次能跳的步长，跳完当前步长和，步跳完当前步长后能跳的步长，做对比，取最大的！cover可能会大于数组长度，所以要及时return！！
2024-10-22 23:41:03
1215
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人