XEmoGPT：多模态大模型在情绪计算领域的第一次系统化落地

随着情绪计算逐渐进入人机交互、社交媒体分析、智能客服、社交机器人等真实场景，用户与开发者对模型的要求已经从“你判断得对不对”转向“你为什么这么判断”。情绪识别正在从“给标签”迈向“给证据”。

传统情绪识别之所以不够用，根源在于它的模态编码器并不是为情绪而生。视觉编码器更擅长识别物体、场景、语义结构，音频编码器更擅长识别语音内容与声学模式。

情绪却往往隐藏在细微的动态线索里，眉毛轻微上扬、嘴角下压、语速突然放慢、音调略带颤动。这些细粒度的情绪线索并不在通用预训练目标的关注范围内，导致模型虽然能给出情绪标签，却无法指出“证据链”。解释往往沦为情绪标签的复述，而不是基于可验证线索的推理。

情绪线索（Emotional Cues）的提出，正是为了解决这一断层。情绪线索是可观察、可描述、可验证的情绪证据，是连接低层感知与高层推理的关键中间变量。它让情绪识别从“结果导向”变成“证据链导向”，让模型的推理过程变得透明、可追踪、可审计。

多模态大模型（MLLM）在情绪理解中展现出巨大潜力，它们具备跨模态对齐、开放式生成、链式推理等能力。然而它们的预训练目标仍然偏向通用语义理解，对细粒度情绪线索并不敏感，导致生成的解释往往模糊、泛化、不可验证。它们会“说情绪”，但不会“看情绪”。

XEmoGPT 正是在这样的背景下诞生的。它是首个实现“线索级感知 + 线索级推理”的可解释多模态情绪识别框架（EMER）。它通过 VECB（视频情绪线索桥）和 AECB（音频情绪线索桥）增强编码器的情绪敏感性，通过 EmoCue 数据集提供线索级监督，通过 EmoCue-360 指标实现线索级评测，让模型第一次真正具备“看见情绪证据”的能力。

图1：（a）多模态情绪识别模型和可解释多模态情绪认知模型之间的比较。（b）XEmoGPT和其他情绪MLLM之间的比较：绿色/红色文本表示有/没有明确线索级别解释的情绪预测。

这项研究由电子科技大学（UESTC）计算机科学与工程学院与中国电子科技集团公司第五十四研究所（CETC54）联合完成，并获得国家自然科学基金（U22B2061）与四川省自然科学基金（2024NSFSC0496）的支持。学术团队与工程团队的结合，使得 XEmoGPT 既具备理论创新，也具备工程落地能力。

01

情绪计算的三条技术脉络正在汇聚

情绪计算的发展并不是线性的，而是三条技术脉络的交汇：情绪信号分析、LLM/MLLM 的崛起、多模态统一建模趋势的加速。XEmoGPT 正是站在这三条脉络的交叉点上。

EEG/视觉/音频等情绪信号的分析长期面临一个共同问题：编码器偏语义、不敏感细粒度情绪。CLIP-ViT更关注物体与场景，HuBERT 更关注语音内容与声学结构，而情绪线索往往是细微的、动态的、跨时间的。缺乏情绪线索的直接后果，是推理链断裂。模型可以说“她很开心”，但无法说出“因为她眉毛上扬、眼角放松、语速轻快”。解释变成了标签的复述，而不是证据的呈现。

数据集也存在结构性矛盾。大规模数据集标注粗糙，小规模数据集标注精细但数量不足。情绪线索这种更细粒度的标注更是稀缺，导致模型无法学习“证据链式”的推理方式。

与此同时，大语言模型的出现让情绪理解进入了一个新的阶段。它们具备链式推理（CoT）、开放式生成、跨模态对齐等能力，使得“解释情绪”成为可能。Emotion-LLaMA、AffectGPT等模型已经尝试让 MLLM 生成情绪解释，但它们的解释往往是“情绪 paraphrasing”，而不是“情绪 reasoning”。解释与复述的区别在这里变得至关重要。复述是“她看起来很开心，因为她在微笑”，推理是“她眉毛上扬、眼角放松、嘴角轻微上翘，这些视觉线索共同指向积极情绪”。前者是语言技巧，后者是证据链。

现有模型之所以无法做到真正的推理，是因为它们缺乏情绪线索级的监督，也缺乏对视觉/音频细粒度情绪特征的感知能力。

多模态大模型正在从“模态拼接”走向“模态统一”。视觉、音频、文本不再是孤立的输入，而是统一语义空间中的不同投影。情绪线索作为一种新的中间语义单元，正在成为多模态推理的重要组成部分。

XEmoGPT 的创新点就在于，它让模型第一次真正“看到”情绪线索。通过 VECB 和 AECB，它让视觉与音频编码器具备情绪敏感性；通过 EmoCue 数据集，它让模型学习情绪线索的表达方式；通过 EmoCue-360，它让情绪线索的生成与推理变得可量化、可评估。

02

XEmoGPT 的整体架构与核心模块

图2：XEmoGPT的架构：它集成了视觉、听觉和文本信息，以生成包含视觉和听觉情感线索的描述。VECB和AECB模块主要用于增强模态编码器的情感线索感知能力。

XEmoGPT 的设计思路非常明确：要让模型真正具备“可解释的情绪识别能力”，必须同时解决两个核心问题——模型是否能“看到”情绪线索，以及模型是否能“基于线索进行推理”。因此，它的整体架构既保留了经典 MLLM 的四大基础模块，又额外加入两个专门为情绪线索设计的“桥接器”，让视觉与音频编码器第一次具备情绪敏感性。

整体架构由视觉编码器、音频编码器、投影层和 LLM 四部分构成，分别承担感知、表示转换与推理生成的任务。视觉部分采用CLIP-ViT，音频部分采用 HuBERT，两者都保持冻结，以确保稳定的基础特征。投影层负责将情绪线索增强后的特征映射到 LLM 可理解的 token 空间，而最终的推理与生成由 Qwen3-4B 完成。

真正的关键在于两个情绪线索桥：VECB（Video Emotional Cue Bridge）和 AECB（Audio Emotional Cue Bridge）。它们像是“情绪放大器”，让原本偏语义的编码器具备捕捉细粒度情绪线索的能力。VECB 负责视觉线索，如眉毛上扬、嘴角下垂、身体前倾等；AECB 负责音频线索，如语速变化、音调起伏、声压强弱等。它们共同构成 XEmoGPT 的情绪感知核心。

VECB：让模型第一次“看见”视觉情绪线索

视觉情绪线索往往是细微的、动态的、跨时间的，因此 VECB 的设计重点在于“时序建模 +情绪语义对齐”。它首先为每一帧加入可学习的位置编码，让模型能够区分时间顺序；随后通过 Transformer 在时间维度进行跨帧融合，让模型理解“变化”本身。

为了让 VECB 真正学会情绪线索，它被训练在三个辅助任务上。

视频-线索对比学习是核心任务。模型将视频序列经过 VECB 得到全局表示 hv，同时将情绪线索文本通过 CLIP 文本编码器得到 ht。二者通过 InfoNCE 损失进行对齐：

这种对比学习让视觉特征第一次被“拉近”到情绪语义空间，从而具备识别细粒度线索的能力。

帧序列时间判别任务则让模型理解“顺序是否正确”。通过随机打乱帧序列，让模型判断是否为正确时间顺序，从而强化对动态情绪线索的敏感性。其损失为：

遮罩帧建模任务类似于视觉版的 BERT。模型随机遮罩部分帧特征，并要求重建原始特征：

三者共同作用，让 VECB 能够捕捉“眉毛上扬”“嘴角下垂”“眼角紧缩”等细粒度视觉情绪线索，而不仅仅是“她在微笑”这种粗粒度语义。

AECB：让模型“听懂”语音中的情绪线索

相比视觉，音频情绪线索更依赖语音的节奏、音调、能量变化等动态特征。HuBERT 虽然具备强大的语音建模能力，但它的预训练目标偏向语音内容识别，与情绪语义存在明显鸿沟。因此 AECB 的核心任务是“语义对齐”。

AECB 不需要额外的位置编码，因为 HuBERT 已经内置时序信息。它直接通过 Transformer 在时间维度进行融合，随后通过音频-线索对比学习将音频特征与情绪线索文本对齐。其损失函数与视觉部分一致：

通过这种方式，AECB 让模型能够理解“语速变慢意味着悲伤”“音调上扬意味着兴奋”“声音颤抖意味着紧张”等情绪线索，从而弥补 HuBERT 在情绪语义上的缺口。

多阶段训练策略

图3：VECB和AECB的训练过程：VECB模块通过三个辅助任务进行训练：对比视频情感线索对齐、帧时间鉴别和掩蔽帧建模。AECB模块使用对比音频情感线索对齐任务进行训练。

为了让模型逐步掌握情绪线索感知与推理能力，XEmoGPT 采用三阶段训练流程。

第一阶段训练 VECB，目标是让视觉编码器具备情绪敏感性。此阶段冻结 CLIP 与文本编码器，仅训练 VECB，使其专注于视觉线索的学习。

第二阶段训练 AECB，目标是让音频编码器具备情绪敏感性。此阶段冻结 HuBERT 与文本编码器，仅训练 AECB，使其专注于音频线索的学习。

第三阶段进行情绪推理指令微调。此阶段使用 LoRA 微调 LLM，同时训练投影层、VECB 与 AECB。为了避免跨模态噪声，模型采用“选择性梯度控制”：视觉-only 样本屏蔽音频梯度，音频-only 样本屏蔽视觉梯度，确保模型在推理时不会出现“视觉干扰音频”或“音频干扰视觉”的问题。

这种分阶段训练策略让模型从“感知线索”到“理解线索”再到“基于线索推理”，形成完整的情绪推理链。

03

数据体系：EmoCue 的构建与线索级标注革命

情绪线索的学习离不开高质量的数据，而现有 EMER 数据集普遍存在“规模大但粗糙、规模小但精细”的矛盾。大规模数据集缺乏细粒度情绪线索，小规模数据集数量不足，导致模型无法学习完整的证据链。

EmoCue 的出现改变了这一局面。

EmoCue-Instruct 提供了 31k 条高质量线索级标注。它基于 MER-Caption+ 重写，通过“MLLM 生成 → deepseek-chat 整合 → 专家抽检”的流程，确保标注既丰富又一致。每条样本包含视觉、音频、全局三类情绪线索，是目前最系统的情绪线索数据集。

EmoCue-ShortCaption 则提供了 40k 条自动生成的短线索，用于辅助 VECB 训练。它成本低、覆盖广，让模型能够在大规模数据上学习情绪线索的表达方式。

这种数据体系的意义在于它让模型第一次拥有了“情绪证据库”，情绪线索不再是隐含在视频或音频中的模糊概念，而是明确的、结构化的、可学习的语义单元。它为线索级推理提供了坚实的基础设施，也让可解释情绪识别成为可能。

XEmoGPT 的方法论与数据体系共同构成了一个完整的“情绪线索生态”，让情绪识别从“标签时代”迈向“证据时代”。

04

评测体系：EmoCue‑360 与可解释性量化

可解释多模态情绪识别（EMER）真正的难点，不在于“能不能生成解释”，而在于“解释是否可信、是否可验证、是否可量化”。过去的情绪识别研究往往停留在“模型说它能解释”，但没有办法判断解释是否真的基于视觉或音频证据。XEmoGPT 的提出不仅补上了模型侧的能力缺口，也同步构建了一个全新的评测体系，让“可解释性”第一次变得可量化、可复现、可对齐。

为什么现有评测不够用

过去 EMER 的主流评测方式是 prompt‑based scoring，也就是把模型生成的解释和人工标注一起丢给一个大语言模型，让它根据提示词给出一个分数。这种方式看似简单，但问题极多。

最大的问题是主观性。评分结果高度依赖提示词的写法、LLM 的版本、温度参数，甚至依赖模型当天的状态。换句话说，同样的解释，今天得 8 分，明天可能得 6 分，完全不可复现。

更致命的是，它无法评估线索级正确性。LLM 会根据整体语义给出“看起来不错”的分数，但不会判断模型是否真的提到了“眉毛上扬”“语速变慢”这些关键线索。解释是否基于证据链，prompt‑based scoring 根本无法判断。

这意味着 EMER 领域长期缺乏一个真正意义上的“可解释性指标”。XEmoGPT 的团队意识到，如果没有一个线索级的评测体系，模型的解释永远无法被验证。

EmoCue‑360：首个线索级自动评测指标

EmoCue‑360 的核心思想是：把解释拆解成“原子情绪线索（atomic cues）”，然后逐一比对模型生成与人工标注的线索是否一致。

图4：EmoCue-360度量的计算管道：信息提取、线索矢量化和度量计算。使用的数学公式与第五节中的公式相对应。

原子情绪线索是最小可辨识的情绪语义单位，比如“眉毛上扬”“语速轻快”“眼神回避”“声音颤抖”。任何解释文本都可以分解成若干原子线索。

EmoCue‑360 会自动从模型生成文本与人工标注文本中抽取三类线索：视觉线索、音频线索、全局线索。抽取过程依赖 LLM 的信息提取能力，但输出是结构化的 cue 列表，而不是主观评分。

随后，系统会将每个线索编码成向量，构建语义相似度矩阵。通过最大匹配策略，计算模型线索与人工线索之间的对应关系。

最终，EmoCue‑360 会分别计算 Precision、Recall 与F1，Precision 衡量模型生成的线索中有多少是真的 Recall 衡量人工线索中有多少被模型捕捉到 F1 则是两者的平衡

这种评测方式的最大优势是可解释性与可复现性。每一个线索的匹配关系都可以被检查，每一个分数都可以被追踪。它不依赖提示词，不依赖 LLM 的主观判断，而是基于语义相似度的客观计算。

EmoCue‑Eval：400 条专家标注评测集

为了让 EmoCue‑360 有一个可靠的评测基准，研究团队构建了 EmoCue‑Eval，一个包含 400 条专家标注样本的评测集。它覆盖多场景、多情绪、多模态，是目前 EMER 领域规模最大、质量最高的可解释性评测基准。

每条样本都包含视觉、音频、全局三类线索，由专家逐条标注，确保线索的准确性与一致性。它不仅用于评测 XEmoGPT，也为整个 EMER 领域提供了一个标准化的可解释性 benchmark。

05

实验结果：XEmoGPT 的性能与可解释性突破

XEmoGPT 的实验结果可以用一句话概括：它不仅“看得更准”，也“说得更清楚”。无论是情绪线索感知能力，还是情绪推理能力，它都全面领先现有模型。

图5：EmoCue Eval和EMER数据集之间的质量比较，显示注释长度（第1列）和情绪线索计数的分布（第2-4列）。

情绪线索感知能力的提升

VECB 和 AECB 的加入，让模型第一次具备了真正意义上的情绪敏感性。对比学习让视觉与音频特征与情绪语义空间对齐，时序建模让模型能够捕捉动态线索。

实验显示，加入 VECB/AECB 后，模型在视觉与音频线索识别任务上的表现显著提升。尤其是在细粒度线索上，如“眼角紧缩”“语调上扬”，模型的识别能力远超基线模型。

情绪推理能力的提升

图6：传统指标与EmoCue-360之间的比较：“随机”表示手动构建的样本对，而“XEmoGPT”表示表示其在EmoCue Eval数据集上的得分。

在 EmoCue‑360 指标上，XEmoGPT 在视觉、音频、全局三类线索的 Precision、Recall、F1上全面领先。更重要的是，它的解释内容从“情绪复述”变成了“基于证据的推理链”。

过去的模型会说：“她看起来很开心，因为她在微笑。” XEmoGPT 会说：“她眉毛上扬、眼角放松、语速轻快，这些视觉与音频线索共同指向积极情绪。”

这种解释不仅更具体，也更可信。

图7：EmoCue-360指标在5个提示模板中的稳定性，在视觉、音频和全局情绪线索方面表现一致。

消融实验与可解释性案例

消融实验进一步证明了 VECB 与 AECB 的必要性。去掉任一模块，模型的线索识别能力与推理能力都会明显下降。

可解释性案例更是直观展示了模型的能力。例如，在一个“开心”场景中，传统模型只会给出情绪标签，而 XEmoGPT 会给出完整的证据链：

眉毛上扬 + 眼角放松 + 语速轻快 → 开心

这不仅是解释，更是一条可验证的情绪推理路径。

图8：EmoCue评估案例研究：样本new3 00070374的样本比较。

学AI大模型的正确顺序，千万不要搞错了

🤔2026年AI风口已来！各行各业的AI渗透肉眼可见，超多公司要么转型做AI相关产品，要么高薪挖AI技术人才，机遇直接摆在眼前！

有往AI方向发展，或者本身有后端编程基础的朋友，直接冲AI大模型应用开发转岗超合适！

就算暂时不打算转岗，了解大模型、RAG、Prompt、Agent这些热门概念，能上手做简单项目，也绝对是求职加分王🔋

📝给大家整理了超全最新的AI大模型应用开发学习清单和资料，手把手帮你快速入门！👇👇

学习路线:

✅大模型基础认知—大模型核心原理、发展历程、主流模型（GPT、文心一言等）特点解析
✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑
✅开发基础能力—Python进阶、API接口调用、大模型开发框架（LangChain等）实操
✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用
✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代
✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经

以上6大模块，看似清晰好上手，实则每个部分都有扎实的核心内容需要吃透！

我把大模型的学习全流程已经整理📚好了！抓住AI时代风口，轻松解锁职业新可能，希望大家都能把握机遇，实现薪资/职业跃迁～

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】