论文解读：MDETR - Modulated Detection for End-to-End Multi-Modal Understanding

AMiner论文推荐：
针对多模态推理系统构建的问题，来自NYU和Facebook的学者提出了MDETR。这是一种端到端的检测器，可以检测以原始文本查询为条件的图像中的对象。MDETR利用基于Transformer的架构在模型早期融合两种模态来联合推理图像和文本。实验在130万个文本—图像对上预训练网络，然后在下游任务上微调，取得了SOTA的结果。并且这个方法很容易扩展到视觉问答，在GQA和CLEVR上取得了不俗的表现。
论文名称：MDETR - Modulated Detection for End-to-End Multi-Modal Understanding
论文链接：https://www.aminer.cn/pub/6088060391e011e25a316ebb?f=csdn

AMiner，让AI帮你理解科学！