第四十七周学习笔记

最新推荐文章于 2024-07-07 21:02:07 发布
最新推荐文章于 2024-07-07 21:02:07 发布
阅读量400 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/luo3300612/article/details/94016573

第四十七周学习笔记

论文整理

本周的主要任务是整理之前读到的CVPR2019论文，整理的结果在excel里

论文阅读概述

  • Point Novel Objects in Image Captioning，本文通过引入pointing mechanism解决novel Image caption的问题，具体的做法是通过soft的方式，在copy和generate之间进行选择，引入sentence-level coverage loss来强制句子包含更多的object，在COCO上达到了SoTA的F1 60.9%
  • Engaging Image Captioning via Personality，本文提出了同时理解图片内容并生成有吸引力的caption的模型，提出了新的数据集PERSONALITY-CAPTIONS，提出了新的retrieval模型，TranResNet
  • Good News,Everyone! Context driven entity-aware captioning for news images，本文以interpretation为目的进行image captioning，提出了新的数据集GoodNews，是新闻上的image captioning 数据集，image caption的输入由图像和文章共同组成，采用两个步骤，生成template然后补充命名实体的方法
  • Adversarial Semantic Alignment for Improved Image Captions，本文的OOC的提出表明了模型在一定程度上还是仅仅背诵训练集，对于一些特例情况，几乎无法识别，仅仅是按照通常的表述将其表达出来

image captioning

show and tell 和 fc 、fc scst的对比

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
描述上，fc模型的描述也更加合理

  • show tell

在这里插入图片描述

  • fc
    在这里插入图片描述

根据训练模型(fc scst)的结果，可以发现

  • image captioning模型其实连图片中目标有几个都无法描述正确
    在这里插入图片描述

  • co-occurance对image caption的结果有很大的影响
    在这里插入图片描述

  • 对未见场景的理解能力非常差
    在这里插入图片描述

本周小结

论文阅读少读一篇

下周目标

论文阅读至少五篇

CVPR2019 图像描述（image caption）论文汇总
sinat_35177634的博客
09-09 4131
CVPR2019 图像描述（image caption）论文汇总 1.Adversarial Semantic Alignment for Improved Image Captions 使用对抗学习的思想来加强image和caption之间的关联 2.Context and Attribute Grounded Dense Captioning 对图像的密集描述，对每一个区域生成短语或者一个句...
【第一周】李宏毅机器学习笔记01
qq_30043925的博客
06-30 2457
本周学习了机器学习的基本概念，包括机器学习的函数输入输出类型以及函数的分类，分别了解了简单模型和复杂模型的训练三步骤。认识了神经网络的的结构，了解了深度学习的训练三步骤，学习并手动推导了反向传播法，进一步理解了反向传播的思想以及反向传播中涉及的计算思路。
Engaging Image Captioning via Personality
Peter的脱发日记
06-28 1137
Engaging Image Captioning via Personality 原文地址 时间：2019 CVPR arxiv 2018
【论文阅读】Show, Recall, and Tell: Image Captioning with Recall Mechanism
huitailangyz的博客
04-17 970
【2020AAAI】 Wang, Li, Zechen Bai, Yonghua Zhang, and Hongtao Lu. “Show, Recall, and Tell: Image Captioning with Recall Mechanism.” arXiv preprint arXiv:2001.05876 (2020). 任务：image caption 问题：以前的方法在生成ca...
Adversarial Semantic Alignment for Improved Image Captions
Peter的脱发日记
06-21 1083
Adversarial Semantic Alignment for Improved Image Captions 原文地址 时间：2019 CVPR，但在Arxiv上公开的时间为2018年6月 Intro CIDEr、BLEU、SPICE等度量缺少了对图片和caption的语义对齐的度量，威力解决多样性和自然性的问题，image captioning模型最近在基于GANs的模型上进行探索，核心...
Point Novel Objects in Image Captioning
Peter的脱发日记
06-28 1013
Point Novel Objects in Image Captioning 原文地址 时间：2019 CVPR 本文与guide object那篇可做对比 Intro 本文要解决的问题是novel object captioning的问题 当前的image captioning模型各方面表现都已不错，但最大的问题是，它通常建立在image-caption对上，导致了仅仅能够捕捉领域内的目标，且...
吴恩达机器学习笔记pdf格式
05-19
第二周至第四周，主要聚焦于监督学习中的线性模型。这部分内容涵盖线性回归、逻辑回归及其在分类问题中的应用，还会深入探讨梯度下降法，用于求解模型参数。此外，正则化技术如L1和L2正则化也将被讨论，以防止过拟合...
【第二周】李宏毅机器学习笔记02
最新发布
qq_30043925的博客
07-07 942
这周将以宝可梦为例学习回归和分类任务的处理方法。对于回归任务，学习了如何提高预测的准确度以及降低过拟合的风险。对于分类任务，手推了后验概率公式，了解了如何运用数学语言来区分类别。对比了生成模型和判别模型的优缺点，以及实现线性回归和逻辑回归步骤的差异。这周以宝可梦为例学习了对回归问题和分类问题的处理。对于回归问题我们还是按照函数建模、函数评优和挑选函数三个步骤来解决问题。为了提高回归预测的准确度，我们可以增加模型的复杂度。但是，过于复杂的模型可能会导致过拟合现象，使得模型不能很好地泛化新的数据。
PaddlePaddle第二周学习笔记
luolovebiology的博客
08-18 840
项目一：使用飞浆完成手写数字识别模型 MNIST数据集 MNIST数据集是从NIST的Special Database 3（SD-3）和Special Database 1（SD-1）构建而来。 构建手写数字识别的神经网络模型 飞桨各模型代码结构一致，大大降低了用户的编码难度 教程采用"横纵式"教学法，适用于深度学习初学者 项目二：通过极简方案快速构建手写数字识别模型 加载飞桨
中大珠数学术部笔记活动林凯漫第十七周.zip
12-22
【中大珠数学术部笔记活动林凯漫第十七周.zip】这个压缩包文件主要包含了中山大学（简称“中大”）珠算数学部在第十七周的学习笔记，旨在为珠数学子提供学习资料，帮助他们更好地理解和掌握课程内容。珠算数学是一门...
论文笔记：Pointing Novel Objects in Image Captioning
m0_56064238的博客
08-25 399
现在的 image caption 模型最关键的限制之一就是它们通常建立在许多 image -caption 对上，即它们只包含了视野中主要的目标。这阻碍了这些模型去描述图片中除了主要部分的新场景或新对象。
cvpr 2019 image caption
binqiang2wang
06-30 6222
2019cvpr image captioning的论文总共16篇左右，其中主要包括三个方向： 第一：就是评价指标； 第二：就是提出新任务，一般都附带一个新的数据库； 第三：就是发现原先captioning当中的的问题，提出一定的解决方案。通过整体阅读，会发现，最后一种当中精度提升都一般，只要选择合适的比较算法，然后讲好自己的故事，就是很优秀的work。下面，我们来简单整体看一下相关论文。 第一类...
综述：Image Caption 任务之语句多样性
Paper weekly
11-30 1627
作者丨郑逸学校丨复旦大学媒体计算实验室研究方向丨Image Caption知乎丨https://zhihu.com/people/zheng-yi-49-69/Image...
Image Captioning 经典论文合辑
weixin_30814329的博客
11-02 1461
Image Caption: Automatically describing the content of an image domain:CV+NLP Category:(by myself, you can read the survey for detail.) CNN+RNN, with attention mechanisms Reinforcement Learning ...
37 篇！ Facebook 今年被 CVPR 收录的论文都说了啥？
AI 研习社的博客
07-03 2494
CVPR 2019 已于 6 月 16 日至 20 日在美国加利福利亚州长滩市盛大举办，吸引了超过万人参加，雷锋网 AI 科技评论的记者也前往现场为大家带来了精彩的大会报道。作为工业界的学术实力干将之一，Facebook AI 研究院在本次大会上的成果也备受瞩目。而 Facebook AI 研究院也对自己今年的战绩进行了统计：共有 37 篇论文被收录，其中包括 15 篇 Oral 论文。下面就让我...
image caption 方法综述（二）
lizefeng1998的博客
03-23 1567
image caption领域方法综述（二） image caption领域自从引入了深度学习以后发展十分迅速，通过2015年到2020年发表的论文，我将image caption领域的方法分为4类：基于注意力机制、基于对抗生产网络、基于强化学习以及基于密集描述，本篇参考了论文 图像描述技术综述[J]. 计算机科学, 2020, 47(12): 149-160.，这一篇介绍第一部分：基于对抗生产网络的方法。 二、基于对抗生产网络GAN 生成对抗网络是一种无监督的深度学习模型，近年来被广泛应用于人工智能领域，
Unsupervised Image Captioning
Peter的脱发日记
06-07 2352
Unsupervised Image Captioning 原文地址 时间：2019 CVPR Tencent AI Lab Intro 普遍的Image caption方法使用的是成对的数据，本文率先采用了无监督模式训练image caption模型，使用的数据不包括任何image-sentence pair 本文的贡献主要有以下四点： 率先使用了无监督方法来进行image caption 提...
阅读小结：A Comprehensive Study of Deep Learning for Image Captioning
进击的阿四
10-23 1913
阅读小结：A Comprehensive Study of Deep Learning for Image Captioning
吴恩达10周机器学习PDF笔记整合
- 第四周：学习非监督学习算法，包括聚类和降维技术。 - 第五周：深度学习的高级主题，例如优化算法。 - 第六周：机器学习项目选择和实践建议。 - 第七周：应用学习算法到大规模数据集上。 - 第八周：支持向量机...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值