本章以工程化、可运行的方式讲解跨模态注意力与掩码多模态注意力(Masked Multimodal Attention)的实现思路,并给出一个**简化版跨模态 BERT(文本 + 语音)**的完整实现与训练/消融实验脚本,目标在 CMU-MOSEI 风格的数据上做情感分类/微调比较(若没有 MOSEI 数据,脚本会回退到合成示例以便跑通)。
5.1 跨模态注意力(Cross-Modal Attention)机制原理(工程解读)
-
直观目标:让一种模态(例如文本)能够基于另一种模态(例如音频)动态选择相关信息,而不是把模态视为独立的特征块简单拼接。
-
实现思路(工程角度):把来自不同模态的 token 当成一个联合序列,使用 Transformer 自注意力或跨注意力来计算它们之间的交互(即文本 token 可以 attend 到音频 token,反之亦然)。
-
优势:能够捕捉细粒度的跨模态对应(比如某个词的情感被其语气所修饰),且在预训练 + 微调范式下效果明显。
-
工程要点:
-
需要把不同模态投影到相同的向量维度(
d_model)。 -
位置编码 / 模态类型 embedding(modality embedding)很重要,用以区分 token 来源。
-
对长
-
订阅专栏 解锁全文
173



被折叠的 条评论
为什么被折叠?



