- 博客(6)
- 收藏
- 关注
RSS订阅原创 【论文阅读】MM-Align: Learning Optimal Transport-based Alignment Dynamics for Fast and Accurate Inference
在本文中，我们提出了一种名为 MM-Align 的新方法来解决缺失模态推理问题。具体来说，我们提出 1) 基于最优传输 (OT) 理论的对齐动态学习模块，用于间接缺失数据插补； 2) 去噪训练算法同时增强插补结果和骨干网络性能。
2023-03-24 10:34:37
395
1
原创 【论文阅读】GCNet: Graph Completion Network for Incomplete Multimodal Learning in Conversation（TPAMI 2023）
在本文中，我们提出了一个新的框架 GCNet，用于对话中的不完整多模态学习。它充分利用对话中的说话人和时间信息，旨在从模态不完整的对话数据中学习判别表示。
2023-03-02 16:41:08
632
1
原创 【论文阅读】TVLT: Textless Vision-Language Transformer（ NeurIPS 2022 Oral）
本文提出了 TVLT，这是一种简单的端到端视觉和语言转换器，可以接受低级视觉和音频信号以进行视觉和语言表征学习。TVLT 在视觉问答、图像检索、视频检索和多模态情感分析方面取得了与其他最先进的基于音频的视觉和语言模型的竞争性能。
2023-03-01 10:32:36
570
1
原创 【论文阅读】UniMSE: Towards Unified Multimodal Sentiment Analysis and Emotion Recognition（EMNLP 2022）
一个多模态情感知识共享框架 (UniMSE)，它统一了来自特征、标签和模型的 MSA 和 ERC 任务。
2023-02-28 14:22:15
1346
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人