本章目标(工程化):介绍自监督预训练在多模态情感识别中的常见策略(掩码/重建、对比学习),讲解 Social-MAE(面部 + 语音 的多模态掩码自编码器)思路,并给出完整可执行的项目级代码:在 CREMA-D 风格数据上先做 Social-MAE 风格的自监督预训练,再对笑声检测(laughter detection)下游任务进行微调与对比实验。代码内置对真实 CREMA-D 特征文件的读取路径(若未准备数据会自动回退到合成数据以保证可运行),并包含详细注释与工程建议,方便你直接跑通或按需替换真实特征。
6.1 预训练策略详解(掩码重建与对比学习 — 工程视角)
-
掩码重建(Masked Modeling)
-
思路:随机掩盖输入模态的一部分(例如音频帧、视觉 patch 或文本 token),模型学习从剩余可见部分重建被掩盖部分。
-
工程优势:不需要人工标签,能够学习模态内部及跨模态的补偿/对齐关系;对下游有显著迁移提升,尤其在数据有限情况下。
-
变体:单模态 MAE、跨模态 MAE(Social-MAE 属于此类)、以及联合掩码(同时掩盖多模态的片段)等。
-
-
对比学习(Contrastive Learning)
-
思路:把同一语义单元(同一 utterance 的不同模态或不同增广版本)视为正样本,把不同 uttera
-
订阅专栏 解锁全文
524



被折叠的 条评论
为什么被折叠?



