- 博客(16)
- 收藏
- 关注
RSS订阅原创 低质量多模态数据融合方法最新进展！天津大学携手顶尖高校推出重磅综述！
多模态融合侧重于整合多种模态的信息，以实现更准确的预测，在自动驾驶、医疗诊断等多种场景中取得了显著的进展。然而，多模态融合的可靠性在很大程度上仍未得到探索，特别是在低质量数据设置下。本文调查了多模态融合的常见挑战和最新进展，并**以数据为中心的角度**，确定了低质量数据的多模态融合面临的四个主要挑战，即 **（1）被异质噪声污染的噪声多模态数据，（2）缺少某些模态的不完整多模态数据， （3）不平衡多模态数据，不同模态的质量或属性显著不同；（4）质量变化多模态数据，每种模态的质量相对于不同样本动态变化**。这
2025-03-15 15:50:02
697
原创 Linux修改静态IP地址（固定静态IP）
3.编辑网络配置文件 cd /etc/netplan/ ls vim 01-net-------------命令：sudo chmod +x systemd\(staticIP\).sh。4.退出并保存，netplan apply ,然后 ip a查看地址即可。1.首先下载脚本systemd(staticIP).sh。
2023-12-06 17:17:24
521
原创 论文解读：Multi-Modal Explicit Sparse Attention Networks for Visual Question Answering
Multi-Modal Explicit Sparse Attention Networks for Visual Question Answering1.abstract视觉问答是一个多任务涉及到自然语言处理(NLP)和计算机视觉(CV),这需要模型来理解视觉信息和文本信息的同时预测输入视觉图像和文本的正确答案的问题,已广泛应用于智能和智能交通系统、智能城市和其他领域。今天，先进的VQA方法通过设计共同注意机制来模拟图像区域和问题单词之间的密集交互，以实现更好的准确性。但是，建模每个图像区域和每个
2021-03-10 16:16:08
719
原创 论文解读 Where to look:Focus Regions for visual question answering
1、abstract 我们提出了一种通过选择与基于文本的查询相关的图像区域来学习回答视觉问题的方法，我们的方法将来自不同区域的文本查询和视觉特征映射到共享空间与模态内部的相关性进行比较。在视觉问答中，比如“什么颜色”，这需要计算一个具体的局部位置，比如“什么样的房间”，需要选择性的识别图像区域信息。我们的方法在这些方面取得了重要的进展。我们的模型还在VAQ数据集上进行了测试。2、Introduction 视觉问答(VQA)是回答关于图像的自然语言问题的任务。VQA包括语言...
2021-03-04 09:55:16
425
转载 Multi-modality Latent Interaction Network for Visual Question Answering
目录 一、文献摘要介绍 二、网络框架介绍 三、实验分析 四、结论 本文有点长，请耐心阅读，定会有收货。如有不足，欢迎交流， 另附:论文地址 一、文献摘要介绍 Exploiting relationships between visual regions and question words have achieved great ...
2021-02-04 10:04:32
297
转载 2021-01-03
用于视觉问题回答的紧凑三线性交互模型《Compact Trilinear Interaction for Visual Question Answering》 Tiám青年 ...
2021-01-03 18:40:12
211
原创 Visual question answering: a state‑of‑the‑art review（二）
上一篇链接：https://blog.youkuaiyun.com/sx1996csdn/article/details/111608040目录5 Datasets6 Performance evaluation7 Discussions andfuture directions7.1 VQA phases7.2 Datasets7.3 Evaluation7.4 Others8 Conclusion5 Datasets本节详细讨论了用于验证VQA模型及其特征的各种公开...
2020-12-25 19:32:35
559
原创 Visual question answering: a state‑of‑the‑art review（一）
论文下载地址：https://link.springer.com/article/10.1007/s10462-020-09832-7Abstract 视觉问答(VQA)是计算机视觉和自然语言处理两大研究领域广泛关注的课题。近年来，图灵测试作为一种替代视觉图灵测试的人工智能完成任务得到了广泛的应用。在它最常见的形式中，它是一个多模态的挑战任务，要求计算机提供关于输入图像的自然语言问题的正确答案。它吸引了许多深度学习研究人员，因为他们在文本、语音和视觉技术方面取得了卓越的成就。本综述在逐...
2020-12-25 10:28:11
563
转载 Multimodal Intelligence: Representation Learning, Information Fusion, and Applications
近期，京东AI研究院的何晓冬博士、京东及英国剑桥大学的张超博士、和美国著名对冲基金Citadel的邓力博士和杨子超博士就这一前沿研究主题发表了题目为“Multimodal Intelligence: RepresentationLearning, Information Fusion, and Applications”的综述论文，对主要基于文本和图像处理的多模态研究，如图像字幕生成、基于文本的图像生成、视觉问答、视觉推理等方向的相关研究，从表征学习、信息融合和具体应用三个角度进行了综述和回顾，并对未来..
2020-12-22 09:36:37
1572
转载 用于视觉问题回答的差异化注意力模型《Differential Attention for Visual Question Answering》
目录 一、文献摘要介绍 二、网络框架介绍 三、实验分析 四、结论 这是视觉问答论文阅读的系列笔记之一，本文有点长，请耐心阅读，定会有收货。如有不足，随时欢迎交流和探讨。 一、文献摘要介绍 In this paper we aim to answer questions based on images when provided with a dataset of questi...
2020-12-18 15:04:00
353
转载 用于图像描述的注意上的注意模型《Attention on Attention for Image Captioning》
《Attention on Attention for Image Captioning》 Tiám青年 2019-11-17 23:21:10 ...
2020-12-17 21:23:39
1748
原创 An Improved Attention for Visual Question Answering
An Improved Attention for Visual Question Answering abstract 本文考虑了可视化问答(VQA)问题。给定一个图像和一个自由形式的、开放式的、用自然语言表达的问题，VQA系统的目标是提供关于图像的这个问题的准确答案。这项工作具有挑战性，因为它需要同时和复杂的理解视觉和文字信息。注意力(Attention)捕捉了内部和模式间的依赖关系，可能成为解决这些挑战的最广泛使用的机制。在本文中，我们提出了一种改进的基于注意力的架构来解决VQA问...
2020-12-17 21:09:30
907
原创 研究生如何做文献阅读笔记
**研究生如何做文献阅读笔记**研究生如何做文献阅读笔记？说实在的，我自己也不是很会读书。读书的速度也不快，只是喜欢读书罢了。阅读文献，对于开题期间的研究生和写论文期间的研究生是很重要的功课，不可忽视，这种能力是需要训练的。关于做读书和文献阅读笔记，这里谈点个人的看法，算是跟年轻朋友们的交流，也希望得到专家们的指教。如何选择和阅读文献？阅读文献，要力求对一个方面或一个主题，或者一个概念的历史发展都要搞清楚，清楚来龙去脉。文献有新有旧，有些学科或专题文献的半衰期很长，经典文献的阅读是很重要的，只
2020-07-26 10:20:47
11631
1
转载 数据结构知识点总结
写在前面：在我们找工作的过程中，经常会被问到是否了解常见的数据结构，所以，如果想在面试过程中有个良好的表现，对常见的数据结构有一定的了解是必须的。 1 概述数据结构：指的是相互之间存在一种或多种特定关系的数据元素的集合。数据结构大致可以分为以下三类：（1）线性结构：数据元素之间为一对一的关系，常见的有：线性表、队列和栈。（2）树形结构：数据元素之间为一对多的关系，常见的有：树、堆。（3）图形结构：数据元素之间为多对多的关系。 2 线性结构2.1 线性表线性...
2020-07-25 17:03:30
709
转载 就业和工作？毕业生何去何从？
快毕业了，到底应该是读研呢？还是下海呢？咳咳打错，是入海。 问我的同学很多，那我索性就写出来，在写之前我去网上看过很多相关话题，大家各持己见，有说读研的，有说入海工作的，也都说得很有道理。 在说这个话题之前，我想引用清华学霸杨奇涵（黑龙江文科状元高考满分）的一句话：走投无路在读书。 这句话什么...
2020-07-25 16:49:44
490
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人