ZZZ___bj的博客

摘要 本文提出DVL-CER，一种创新的双视图学习方法，用于对话情感识别（CER）。传统方法仅关注语句交互（话语视图），而忽略了说话者情感动态（情感视图）。DVL-CER通过双投影头整合两种视图，实现情感分布的跨视图对齐。其核心贡献包括：(1) 引入情感视图，建模说话者情感状态的动态演变；(2) 设计双视图投影策略，平衡视图间的协调性与独立性。实验表明，DVL-CER在IEMOCAP和EmoryNLP数据集上优于现有方法，实现了最先进的性能。该方法为情感识别提供了更鲁棒、高质量的分布预测，可无缝集成各类CE

对话中的多模态情感识别（MERC）通过整合对话视频中的语境信息和多模态信息来识别话语情绪。现有的方法难以捕捉由于标签复制而引起的情绪变化，也无法在融合过程中保持积极的独立模态贡献。为了解决这些问题，我们提出了一个双重对比学习框架（DCLF），它在没有额外数据的情况下增强了当前的MERC模型。具体来说，为了减轻标签复制效应，我们构建了上下文感知的对比对。此外，我们分配伪标记来区分模态特异性贡献。DCLF 与基本模型一起在语句、上下文和模态层面引入语义约束。

对话中的情绪识别（ERC）旨在准确识别对话内容中表达的情绪状态。现有的ERC方法虽然依赖于语义理解，但在面对不完整或具有误导性的语义信息时，往往会遇到挑战。此外，在处理情绪信息和语义信息之间的交互作用时，现有的方法往往难以有效地区分两者之间的复杂关系，这影响了情绪识别的准确性。为了解决传统模型在面对复杂的会话数据时遇到的语义误导和情绪交叉对话的问题，我们提出了一种语义和情绪双通道（SEDC）策略，以独立处理情绪和语义信息。在该策略下，当语义不明确或缺乏时，情感信息提供了一个辅助识别功能，提高了模型的准确性。

对话中的多模态情绪识别（ERC）的目的是识别对话视频中每个话语所表达的情绪。在处理模态内交互时，当前的工作在平衡说话者内部和说话者间的上下文依赖关系方面遇到了挑战。这种平衡是至关重要的，因为它包括建模自我依赖（情感惰性），其中说话者自己的情感影响他们，并建模人际依赖（共情），其中同伴的情感注入说话者。此外，在解决跨模态交互问题时也会遇到挑战，因为不同模态的内容会产生相互矛盾的情绪。为了解决这个问题，我们引入了一种名为AdaIGN的自适应交互图网络（IGN），它使用Gumbel Softmax。

随着深度学习（DL）的不断发展，多模态对话情绪识别（MDER）近年来受到了广泛的研究关注，也是深度学习的一个重要分支。MDER旨在识别不同模态中的情感信息，例如，文本、视频和音频，以及不同的对话场景。然而，现有的研究主要集中在上下文语义信息和说话者之间的对话关系的建模上，而忽略了事件关系对情绪的影响。为了解决上述问题，我们提出了一种新的对话和事件关系感知图卷积神经网络（DERGCN）的多模态情绪识别方法。它模拟了说话者之间的对话关系，并捕获了潜在的事件关系信息。

多模态情绪分析（MSA）利用互补的多模态特征来预测情绪的极性，这主要涉及到语言、视觉和音频模态。现有的多模态融合方法主要考虑不同模态的互补性，而忽略了模态之间的冲突所造成的歧义（即文本模态预测积极情绪，而视觉模态预测消极情绪）。为了很好地减少这些冲突，我们开发了一个新的多模态歧义学习框架，即RMA，通过知识注入和多模态歧义学习解决多模态歧义情绪分析。具体来说，我们引入和过滤外部知识，以增强跨模态情绪极性预测的一致性。即，我们。

对话中的多模态情绪识别（MERC）的主要任务是对文本、音频、图像、视频等模态中的情绪进行识别，这是实现机器智能的重要发展方向。然而，MERC中的许多数据表现出情绪类别的不平衡分布，研究人员忽略了不平衡数据对情绪识别的负面影响。为了解决这一问题，我们从数据增强、损失敏感性和采样策略三个方面对其进行了系统的分析，并提出了类边界增强表示学习（CBERL）模型。具体地说，我们首先设计了一个多模态生成对抗网络来解决原始数据中情绪类别的不平衡分布。

近年来，智能个人助理（IPAs）已成为人机交互中的重要工具，具有语音助理、虚拟客户服务和导航等广泛的应用前景。捕捉和理解用户突出的情感需求对于提高IPA的服务质量非常重要。在对话过程中自动识别和跟踪说话者情绪状态的多模式情绪识别（MMERC），已成为构建情绪识别的重要组成部分，引起越来越多的关注。目前在这一领域的研究是基于跨模态和单模态相互作用的图模拟。然而，这些方法忽略了MMERC中固有的高度不平衡的类问题，导致模型的泛化能力下降，无法有效识别少数情绪类别。

随着社交媒体和人机交互技术的快速发展，对话中的多模态情感识别（MERC）任务开始受到广泛的研究关注。MERC的任务是从不同的模式中提取和融合互补的语义信息，从而对说话者的情绪进行分类。然而，现有的特征融合方法通常直接将其他模态的特征映射到同一特征空间中进行信息融合，这并不能消除不同模态之间的异质性，使后续的情绪类边界学习更加困难。此外，现有的图对比学习方法通过最大化多个视图之间的互信息来获得一致的特征表示，这可能会导致模型的过拟合。为了解决上述问题，我们提出了一种新的。

这项调查全面回顾了机器学习中多模态对齐和融合的最新进展，即机器学习中多模态对齐和融合的发展。多模态集成通过利用不同模式之间的互补信息，以及在数据有限的情况下促进知识转移，从而提高了模型的准确性和更广泛的适用性。我们系统地分类和分析现有的对齐和融合技术，从200多篇相关论文的广泛回顾中获得见解。此外，该调查还解决了多模态数据集成的挑战——包括对齐问题、噪声弹性和特征表示方面的差异——同时关注于在社交媒体分析、医学成像和情感识别等领域的应用。所提供的见解旨在指导未来的研究，以优化多模态学习系统。

近年来，多模态情绪识别（MERC）的研究主要集中在多模态融合和说话者感知上下文建模上。除了上下文信息外，人格特征也会影响情绪感知。然而，目前的MERC方法只考虑说话者的人格影响，忽略了说话者与收听者的互动模式。此外，情绪转移（ES）的瓶颈问题，即同一说话者的连续话语表现出不同的情绪，在MERC中一直被忽视。早期的ES研究未能区分不同的转移模式，只是简单地介绍了转移是否作为知识发生在MERC模型中，而没有考虑这两个任务的互补性。在此基础上，我们提出了一个注入人物人格的跨任务图网络**（PCGNet）。

我们提出了一种新的多任务学习模型，称为MtlERC-ES，它可以同时识别三个任务：对话中的情绪识别（ERC）、情绪转移（ES）和语义分类（SC）。

对话中的多模态情感识别（ERC）越来越受到各领域研究界的关注。在本文中，我们提出了一种具有情感转移感知（CFNESA）的跨模态融合网络。现有的方法平等地使用每种模态，但不区分这些模式中的情绪信息量，这使得很难从多模态数据中充分提取互补信息。为了解决这一问题，在CFN-ESA中，我们将文本模式作为情感信息的主要来源，而将视觉和声学模式作为次要来源。此外，大多数多模态ERC模型忽略了情绪转移信息，过度关注了上下文信息，导致了情绪转移情景下的情绪识别失败。我们精心设计了一个情绪转换模块来解决这一挑战。

语码混合，即在单一对话中融合多种语言，是响应生成中的一个独特挑战。捕捉语码混合的复杂性是一项艰巨的任务，因为其变体受个人说话风格和文化背景的广泛影响。在这项研究中，我们探索了语码混合对话中的响应生成。我们引入了一种新的方法，利用从对话中以无监督方式获取的大五人格特质来增强响应生成的性能。这些推断的人格属性通过一种新的融合机制PA3无缝地融入对话背景中。PA3采用了有效的两步注意力公式来融合对话和人格信息。这种融合不仅增强了生成响应的上下文相关性，还提升了模型的整体性能。

近年来，个性被视为一种有价值的个人因素，已被纳入情感分析和产品推荐等众多任务中。这引起了对基于文本的个性识别任务的广泛关注，旨在根据给定文本识别个人的个性。考虑到ChatGPT最近在各种自然语言处理任务中表现出显著能力，我们对ChatGPT在基于文本的个性识别任务中的表现进行了初步评估，以生成有效的个性数据。具体来说，我们采用了多种提示策略来探索ChatGPT从给定文本中识别个性的能力，尤其是我们设计的层次化提示策略，用于指导ChatGPT在指定层次分析给定文本。

如果对话系统能够从对话中预测用户的性格，它将能够根据用户的性格进行调整，从而提高任务成功率和用户满意度。在一项最新研究中，通过使用迈尔斯-布里格斯类型指标（MBTI）性格特征和端到端（基于神经网络）的系统进行任务导向的人机对话进行性格预测。然而，尚不清楚这种预测是否适用于其他类型的系统和用户性格特征。为了弄清这一点，我们招募了378名参与者，要求他们填写涵盖25种性格特征的四份性格问卷，并让他们与一个流水线任务导向对话系统或端到端任务导向对话系统进行三轮人机对话。

人类人格的计算分析主要集中在五大人格理论上，尽管心理动力学方法具有丰富的理论基础和与各种任务的相关性，但它几乎不存在。在这里，我们提供了4972个合成话语的数据集，与心理动力学方法描述的大五人格维度相对应：抑郁、强迫症、偏执、自恋和反社会精神变态。这些话语是通过人工智能产生的，具有深刻的理论方向，激发了GPT-4提示的设计。该数据集已经通过14个测试进行了验证，它可能与人类人格的计算研究和数字领域中真实人格的设计有关，从游戏到电影角色的艺术生成。人类的人格涉及到相对稳定的思维、情绪和行为模式。它们是。

对话中的情绪识别（ERC）的目的是识别对话中每一个话语中所表达的情绪。然而，以往的一些方法并没有充分考虑到对话中每个说话者的话语和目标话语的相对位置信息对情绪分析的影响，也忽略了不同子主题下目标话语所表达的情绪的差异。我们引入了一种动态提取子对话（DESD）方法的情绪识别来解决这些问题。该方法利用每个说话者的话语和摘要话语的相对位置信息来提取子对话。通过考虑每个说话者对情感表达的贡献，我们可以更准确地捕捉到对话中的情绪动态。此外，我们还提取了子对话的主题信息，以捕捉不同的子主题对目标话语情绪的影响。通过在四

为了创造更具吸引力和真实性的互动体验，有必要考虑个性对情感生成的影响。本文提出了一种创新方法，将个性建模与对话系统的情感生成相结合。通过将个性特征纳入情感生成过程中，我们旨在创造更加个性化和与上下文相符的情感响应。基于大五人格模型和情感计算技术，我们的模型考虑了个性的个体差异，以生成与每个用户独特特征相一致的情感。

我们提出了一种新的低维监督聚类级对比学习（SCCL）方法，该方法首先将高维SCL空间简化为三维情感表示空间的效价-唤醒-优势（VAD），然后执行聚类级对比学习，以纳入可测量的情感原型。为了帮助建模对话和丰富上下文，我们利用预先训练过的知识适配器来注入语言和事实知识。

摘要：在对话中进行情感识别（ERC）能够捕捉说话者在多轮对话中的情感变化，因此具有广泛的应用。近年来，由于图神经网络具有捕捉复杂的非欧几里德空间特征的能力，它们在ERC任务中被自然地广泛使用。然而，如何轻松有效地建模对话以提高ERC在复杂交互模式中的效果仍然需要探索。为此，我们提出了一种新的方法，构建了一个说话者-话语交互异构网络，有效地对上下文进行建模，同时考虑了说话者的全局特征。在此基础上，我们提出了一种基于说话者和相应话语交互的图神经网络，根据说话者的发言顺序动态更新话语和说话者的表示。

摘要：在情绪对话系统中，大多数现有的工作侧重于在回复中呈现指定的情绪，或对用户的情绪做出共情回复，但却忽略了情绪表达的个体差异。文章建议为对话系统配备人格，通过模拟人类在对话中的情绪转换，使其能够自动选择回复的情绪。详细来说，对话系统的情绪是由其前面的情绪过渡到上下文中。这种转换是由前面的对话环境触发的，并受指定的人格特征影响。为了实现这一目标，文章首先将对话系统中的情绪转换建模为前一情绪和回复情绪在情感空间（Valence-Arousal-Dominance，VAD）中的变化。然后，设计了神经网络来编码前

在对话系统中，具有相似语义的话语在不同的语境下可能具有不同的情感。因此，用说话者依赖来建模长期情境情绪关系在对话情绪识别中起着至关重要的作用。同时，区分不同的情绪类别也不是很简单的，因为它们通常具有语义上相似的情绪。为此，我们采用监督对比学习，使不同的情绪相互排斥，从而更好地识别相似的情绪。同时，我们利用一个辅助反应生成任务来增强模型处理上下文信息的能力，从而迫使模型在不同的上下文中识别具有相似语义的情绪。为了实现这些目标，我们使用预先训练好的编码器-解码器模型BART作为我们的主干模型，因为它非常适合于理

捕捉复杂的语境依赖关系在对话中的情感识别（ERC）中起着至关重要的作用。以往的研究主要集中在说话者感知的语境建模上，而忽略了对话的话语结构。在本文中，我们引入了双图注意网络（DualGATs）来同时考虑话语结构和说话人感知语境的互补方面，旨在实现更精确的ERC。具体来说，我们设计了一个话语意识GAT（DisGAT）模块，通过分析话语间的话语依赖性来整合话语结构信息。此外，我们开发了一个说话者感知的GAT（SpkGAT）模块，通过考虑说话者在话语之间的依赖性来整合说话者感知的上下文信息。

对话中的情感识别（ERC）对于增强人机交互中的用户体验具有重要意义。与个体话语中的普通情绪识别不同，ERC的目的是将对话中的组成话语分类为相应的情绪标签，这使得上下文信息至关重要。除了情境信息外，个性特征也会影响基于心理发现的情绪感知。虽然研究人员已经提出了几种方法，并在ERC上取得了良好的结果，但目前在这一领域的工作很少纳入背景信息和个性影响。为此，我们提出了一个新的框架来无缝地整合这些因素，称为“个性增强迭代细化网络（PIRNet）”。具体来说，PIRNet是一种多阶段的迭代方法。

对话中的情绪识别（ERC）任务的目的是预测会话中一个话语的情绪标签。由于说话者之间的依赖关系是复杂和动态的，包括说话者内部和间的依赖关系，因此说话者特定信息的建模在ERC中起着至关重要的作用。虽然现有的研究者提出了多种说话者交互建模方法，但他们不能共同探索说话人内部和说话人间的动态依赖，导致上下文语境理解不足，进一步阻碍了情绪预测。为此，我们设计了一种新的说话者建模方案，以动态的方式共同探索说话者内部和间的依赖关系。