多模态人类情感识别

第一章 引言与领域概览
1.1 自然交互场景下的多模态情感识别挑战
1.2 传统融合策略在真实场景中的失效原因分析
1.3 SOTA模型速览（AGFN、Cross-Modal BERT、Social-MAE）

第二章 深度学习方法与多模态特征工程
2.1 文本模态：Transformer特征提取与优化
2.2 音频模态：频谱与声学特征深度分析
2.3 视觉模态：CNN/Vision Transformer特征提取
2.4 多模态数据加载、对齐与内存优化策略

第三章 多模态融合范式与固有局限
3.1 前端融合、后端融合与中间融合对比分析
3.2 基线融合模型实现（Concat, Decision-Level）
3.3 多模态模型性能失效深度分析

第四章 自适应融合与梯度优化技术
4.1 门控机制与注意力自适应融合原理
4.2 梯度混合技术（Accumulation, Mixed-Precision）
4.3 噪声与缺失模态下的鲁棒性实验
4.4 项目任务：在CMU-MOSI数据集上实现自适应门控融合网络，并与非自适应基线进行对比
    目标：在CMU-MOSI数据集上实现自适应门控融合网络，并与非自适应基线进行对比
    交付物：完整代码仓库、详细实验报告（含性能图表、超参数配置表）、5分钟成果演示PPT

第五章 基于Transformer的进阶融合模型
5.1 跨模态注意力（Cross-Modal Attention）机制原理
5.2 掩码多模态注意力（Masked Multimodal Attention）
5.3 简化版跨模态BERT架构实现与优化
5.4 项目任务：搭建并训练跨模态BERT（文本+语音）在CMU-MOSEI上的情感分类模型，完成消融实验
    目标：搭建并训练跨模态BERT（文本+语音）在CMU-MOSEI上的情感分类模型，完成消融实验
    交付物：完整代码、实验报告、5分钟演示视频

第六章 自监督学习在多模态情感识别中的应用
6.1 预训练策略详解（掩码语言建模、对比学习）
6.2 Social-MAE：人脸与语音的多模态自编码器
6.3 下游任务迁移实验（以CREMA-D数据集为例）
6.4 项目任务：利用Social-MAE在CREMA-D上进行预训练与微调，比较其在笑声检测任务中的效果
    目标：利用Social-MAE在CREMA-D上进行预训练与微调，比较其在笑声检测任务中的效果
    交付物：实验脚本、结果对比表格、性能分析报告

第七章 生成式AI与情感交互系统
7.1 基于GPT/T5的共情回复生成技术
7.2 实时客户关怀系统案例深度剖析
7.3 低延迟与高情商交互的技术瓶颈探讨

第八章 文献精读与科研立项指导
8.1 高效文献检索与精读技巧
8.2 从SOTA模型局限中挖掘创新点
8.3 研究计划书框架与可行性分析