- 博客(6)
- 收藏
- 关注
RSS订阅原创 BLIP论文笔记
BLIP大多数现有的VLP模型大多仅仅在understanding-based tasks 或者 generation-based tsaks表现良好，但很少在这两方面都能取得较好的结果。同时，性能的增大往往来自于数据集的扩大，但是现有的数据集大多数是web网络上采集下来的img-text pair。这些大规模从网络上采集下来的数据往往包含大量的noise，不利于模型的训练。基于以上两点，作者提出了BLIP模型，能灵活的解决understanding-based tasks和generation-ba
2022-03-02 16:43:36
5014
1
原创 论文笔记：Meshed-Memory Transformer for Image Captioning
Meshed-Memory Transformer for Image Captioning本文在transformer的基础上，对于Image Caption任务，提出了一个全新的fully-attentive网络。同时本文借鉴了之前任务提出的两个key novelties:以multi-level 的方式进行encode，在对low-level relation 和 high-level relation进行建模时，该模型可以通过使用持久的内存向量来学习和编码先验知识。语句生成同时用到了low-
2021-10-16 14:59:31
1087
原创 MCAN论文笔记——Deep Modular Co-Attention Networks for Visual Question Answering
MCANMCAN论文笔记，仅记录个人阅读感受，如有问题和侵权行为，欢迎指出Deep Modular Co-Attention Networks for Visual Question Answering, CVPR 2019Tutorial (rohit497.github.io)本文受到Transformer启发，运用了两种attention unit：模型内部交互的self-attention(例如word-to-word or region_to_region)，记为SA模型之间交互的g
2021-09-21 13:58:15
2291
1
原创 Relation Reasoning for VQA
Relation ReasoningIntra-modal attentionRecently becoming popularRepresenting image as a graphGraph Convolution Network & Graph Attention NetworkSelf-attention used in Transformer[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Gt2bIRza-1632135889426)(
2021-09-20 19:34:00
447
原创 神经网络与反向传播
神经网络（全连接神经网络） 对人类中枢神经系统的观察启发了人工神经网络这个概念。在人工神经网络中，简单的人工节点，称作神经元（neurons），连接在一起形成一个类似生物神经网络的网状结构。人工神经网络与生物神经网络的相似之处在于，它可以集体地、并行地计算函数的各个部分，而不需要描述每一个单元的特定任务。神经网络这个词一般指统计学、认知心理学和人工智能领域使用的模型，而控制中央神经系统的神...
2018-09-11 20:38:25
488
原创 Gradient Decent
梯度下降及其公式推导 最近在看Coursera上吴恩达的ml课程，在应用机器学习算法时，我们通常采用梯度下降法来对采用的算法进行训练。别人问到我梯度下降的问题时感觉自己还是有些不清晰，为此在这里做一个回顾复习巩固提升梯度下降（Gradient Decent)的含义在机器学习过程中，为最小损失函数（Cost Function)，我们通常使用梯度下降算法来一步一步迭代求解，以得到...
2018-06-21 22:03:49
990
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人