- 博客(2)
- 收藏
- 关注
RSS订阅原创 MISA论文
融合前显式分解模态表征，解耦共享与特定信息，提升多模态情感分析鲁棒性与性能。可与复杂上下文模型、时序建模方法结合，适用于更大规模或更复杂的多模态任务。问题MISA 的解决策略核心机制模态异质性 / 表达差异性拆分模态表示为共享（invariant）与特定（specific）表示，分别建模共性与差异表示因子分解（Factorized Representations）跨模态对齐困难 / 模态融合不稳定强制不同模态的共享表示在分布上对齐，最大化相关性，减少融合冲突。
2025-07-24 15:36:39
1444
原创 MulT论文
对MulT论文模型的笔记，针对多模态语言序列分析中的两大挑战：模态不对齐和跨模态长期依赖问题。通过引入方向性跨模态注意力机制，MulT无需显式对齐即可实现端到端建模。实验表明，MulT在CMU-MOSI、CMU-MOSEI和IEMOCAP数据集上均优于现有方法，并能有效捕捉非同步模态间的语义关联。该模型为处理异步多模态数据提供了新范式，突破了传统方法依赖人工对齐的局限。
2025-07-18 14:35:25
1055
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人