Image Captioning 领域论文整理（转载）

最新推荐文章于 2024-01-27 21:43:09 发布
转载 最新推荐文章于 2024-01-27 21:43:09 发布 · 置顶 · 1.1k 阅读 · 0
文章标签：

#Image Captioning # 领域 #论文整理

本文分享了在优快云博客上的一次有益经验，感谢作者无私地分享知识，为社区做出了贡献。虽然具体内容未给出，但强调了分享与学习的重要性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

【Image captioning】论文阅读六—Semantic-Conditional Diffusion Networks for Image Captioning_CVPR2023
安静到无声
01-21 1733
作为视觉和语言领域中的基础任务之一，图像描述旨在使用自然语句描述感兴趣的语义。这项任务自然地将计算机视觉和自然语言处理连接在一起，通过感知场景中的视觉内容并将其解释为人类语言，模拟了人类智能的基本能力。目前，当前最先进技术中的主导力量是利用编码-解码结构，并以自回归方式构建学习过程。特别地，图像编码器负责将视觉内容编码为高级语义，而句子解码器学习逐字解码顺序句子（图1a）。然而，这种自回归进展仅允许单向的文本信息传递，并且通常依赖于随着句子长度的平方增长的大量计算资源来进行。
【Image captioning】论文阅读五—Towards local visual modeling for image captioning(PR期刊)
安静到无声
01-12 472
图像字幕的任务是生成一个流畅的句子来描述给定的图像。近年来，这一领域得到了迅速的发展，并得到了一系列新方法[1,2]和数据集[3,4]的支持。受到自下而上注意方法(自下而上Attention)的巨大成功[5]的启发，现有的图像字幕方法大多采用目标检测器提取的区域特征作为视觉表示，如Faster R-CNN[6]。由于检测器是在大规模视觉基因组数据集上进行预训练的[7]，因此它可以对图像中的显著区域生成判别表示，并为字幕提供完整的对象信息。为此，基于区域特征的图像字幕已经取得了重大进展[2,8,9]。
最新《图像描述Image Captioning》综述论文
07-17
视觉和语言在生成智能中起着至关重要的作用。因此，在过去的几年中，大量的研究致力于图像描述，即用句法和语义上有意义的句子描述图像的任务。从2015年开始，该任务通常使用由可视化编码步骤和用于文本生成的语言模型组成的流程来解决。
Image Caption 论文
qq_26136211的博客
04-22 292
总结1 总结2 总结3 总结4 总结5
Image_captioning
JMU-HSF
07-22 1211
Image caption——图像理解 文章目录Image caption——图像理解1、任务综述以及早期做法2、从Encoder-Decoder结构谈起（前身）3、Show and Tell: A Neural Image Caption Generator（image caption 开山之作） 1、任务综述以及早期做法 ​ 图像理解可以认为是一种动态的目标检测，由全局信息生成image abstract。早先的做法例如《Baby Talk》，《Every picture tell a story
Image Captioning综述——入门
ydwl_lyy的博客
10-09 751
Image Captioning综述 Image caption——图像理解——看图说话综述（2015-2018）https://blog.csdn.net/m0_37731749/article/details/80520144 0.入门一《Deep Fragment Embeddings for Bidirectional Image Sentence Mapping》2014NIPS 解决问题： 集中在retrieval（检索）的问题上，没有生成description（描述）。 模型结构： 输入数据
Image Caption（一）综述
weixin_41386168的博客
11-27 2964
1、监督学习 vs others： Exposure Bias（RNN造成的累积误差） 解决方法：1）使用scheduled-sampling，在训练阶段使用的输入以p的概率选择真实样本，以1-p的概率选择上一个词的输出。p随着训练次数的增加衰减（指数函数、反sigmoid函数、线性函数）。 Word-Level Oracle Word《Scheduled sampling for sequence prediction with recurrent neural networks》Google 20
[论文列表] Image Captioning 领域论文整理
zhjohnchan
08-16 5905
本文整理了Image Captioning图像描述领域相关的论文以及链接，同时我的GitHub仓库也将持续进行更新，方便对Image Captioning领域感兴趣的小伙伴进行学习和交流，欢迎大家Star和Fork. :D Contents 2010 I2t: Image parsing to text description - Yao B Z et al, P IEEE 2011....
【Image captioning】论文阅读八—ClipCap: CLIP Prefix for Image Captioning_2021
安静到无声
01-27 1622
在图像描述任务中，目标是为给定输入图像提供一个有意义且有效的自然语言描述。这个任务面临两个主要挑战。第一个是语义理解。这涵盖了从简单任务（如检测主要对象）到更复杂任务（如理解图像中所描绘部分之间的关系）的各个方面。例如，在图1左上角的图像中，模型理解到对象是一个礼物。第二个挑战是描述同一图像的可能方式很多。在这方面，训练数据集通常会决定给定图像的首选描述方式。图1. 我们的ClipCap模型生成了描述相应图像的标题。这里的结果是使用Conceptual Captions数据集进行训练的模型的结果。
【Image captioning】论文精读二--（网格特征）（COS-Net）Comprehending and Ordering Semantics for Image Captioning
安静到无声
10-18 2438
理解图像中丰富的语义并按语言顺序排序，对于为图像标题编写一个有视觉基础的、语言上连贯的描述至关重要。现代技术通常利用预先训练好的物体检测器/分类器来挖掘图像中的语义，而对语义的内在语言排序却没有充分开发。
image caption总结
02-28
image caption总结
Automated_Image_Captioning：使用深度学习和Flickr-8k数据集进行自动图像字幕。 还比较了Xception模型和Inception模型（v3）
02-10
Torrent_to_Drive 使用深度学习和Flickr-8k数据集进行自动图像字幕。 还对Xception模型和Inception模型进行了比较。 这是使用卷积神经网络和一种递归神经网络（LSTM）为所有类型的图像生成标题和替代文本的最简单方法。 关于 图像特征将从在imagenet数据集上训练的CNN模型中提取（请参见下文），然后将特征输入到LSTM模型中，后者将负责生成图像标题。 此回购围绕Keras提供的2个模型进行。 提取的功能可以在找到 使用的数据集可以在找到 Jupyter笔记本可以在找到 训练过的模型可以在找到 需求和依赖关系可以在找到 字幕生成器可以在找到 想要贡献？ 建议，错误报告，错误解决受到高度赞赏，请打开问题和/或PR 建立 设置虚拟环境（强烈推荐） 激活环境。 安装需求，使用pip3 install -r requirements.txt 注意：
Image Captioning 经典论文合辑
weixin_30814329的博客
11-02 1463
Image Caption: Automatically describing the content of an image domain:CV+NLP Category:(by myself, you can read the survey for detail.) CNN+RNN, with attention mechanisms Reinforcement Learning ...
2019年, image captioning论文汇总
lch的博客
03-24 6816
目录ASG: CVPR2020UIC: CVPR2019XNM: CVPR2019CNM: ICCV2019 ASG: CVPR2020 下载链接 吴琦老师组的新作, 一作是人大的博士生陈师哲. 动机 现有的方法与用户交互性差, 生成的句子多样性低, 不考虑用户感兴趣的内容. 贡献 提出ASG(抽象场景图), 可以以细粒度的方式设定一个描述物体的"模式". 根据给定的ASG, 能够识别ASG...
2020年, image captioning论文汇总
lch的博客
06-17 4435
目录CVPR2020：ASGCVPR2020：POS-SCAN CVPR2020：ASG 题目 Say As You Wish: Fine-grained Control of Image Caption Generation with Abstract Scene Graphs 下载链接 吴琦老师组的新作, 一作是人大的博士生陈师哲. 动机 现有的方法与用户交互性差, 生成的句子多样性低, 不考虑用户感兴趣的内容. 贡献 提出ASG(抽象场景图), 可以以细粒度的方式设定一个描述物体的"模式". 根
image captioning综述入门二
ydwl_lyy的博客
10-11 687
0.入门二《Deep Visual-Semantic Alignments for Generating Image Descriptions》 1.Show and Tell：神经图像字幕生成器 2015 原理： 利用了机器翻译的思想，将图像提取出抽象的特征，再将特征作为输入来生成自然语言，如下图： 模型优化目标： 其中，I代表图像，S代表对应的描述，θ代表模型的参数。在给定图像和参数时使生成描述S的概率最大，从而得到参数，以此来训练模型。 论文链接：https://arxiv.org/pdf/141
【论文阅读笔记】Image Captioning: Transforming Objects into Words
little06960的博客
01-05 578
在传统transformer上进行改进，推出Object Relation Transformer，特别适合于图像字幕的任务。
CV之IC：Image Caption图像描述算法的相关论文、设计思路、关键步骤相关配图之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
10-20 1万+
CV之IC：Image Caption图像描述算法的相关论文、设计思路、关键步骤相关配图之详细攻略目录IC算法的相关论文1、《Show and Tell: A Neural Image Caption Generator》2、《Show, Attend and Tell: Neural Image Caption Generation with Visual Attention》3、《What value Do Explicit High Level Concepts Have in Vision to L
【Image captioning】AI算法说——图像描述（Image captioning）
热门推荐
安静到无声
06-11 2万+
COCO数据集是一个大规模常见物体检测、分割和图像描述的数据集。它包含超过330k张图像，其中包括2.5 million个目标实例，每张图像都有5个不同的图像描述。COCO数据集已成为自然语言处理和计算机视觉领域中一个非常优秀的基准数据集。2、
image captioning领域的损失函数
最新发布
02-13
### Image Captioning常用损失函数 在图像字幕生成(Image Captioning)领域，交叉熵损失(Cross Entropy Loss)是最广泛使用的损失函数之一。该损失用于衡量预测的概率分布与真实标签之间的差异，在序列生成任务中尤其重要[^4]。 对于每一个时间步$t$产生的单词$w_t$，模型会计算其相对于整个词汇表的条件概率分布$p(w_t|I, w_{<t})$，其中$I$表示输入图像而$w_{<t}$则指代之前已经生成过的词语序列。理想情况下，此分布应当赋予实际目标词最高的可能性。因此，通过最小化负对数似然(Negative Log Likelihood)，即最大化正确答案出现的概率，可以有效地优化参数： $$L=-\sum_{t=1}^{T}\log p(y_t|x,\theta )$$ 这里$x$代表图像特征向量；$\theta $是待估计的网络权重集合；$y_t$是在时刻$t$处的真实观测值；$T$则是句子长度。 除了基本形式外，还有几种改进版或替代方案被提出并应用于实践当中： - **自批评序贯训练(Self-critical Sequence Training)**：这种方法不再单纯依靠教师强制机制(teacher forcing scheme),而是采用蒙特卡洛采样方式获得多个可能的结果，并依据奖励得分调整策略梯度(policy gradient)[^3]。 - **强化学习中的奖励塑造(Reward Shaping in RL)**：当利用强化学习框架处理问题时，设计合理的即时反馈信号变得至关重要。通常来说，BLEU、CIDEr-D等评价指标会被转换成数值型奖赏以指导agent做出更优决策[^1]。 ```python import torch.nn.functional as F def cross_entropy_loss(output, target): """ 计算cross entropy loss. 参数: output (Tensor): 模型输出的未标准化分数(batch_size * vocab_size). target (LongTensor): 正确的目标索引(batch_size). 返回: Tensor: 平均loss值. """ return F.cross_entropy(output, target) # 使用示例 output = model(image_features) # 假设model是一个返回batch*seq_len*vocab_size张量的对象 target = captions # batch*seq_len大小的实际caption id列表 total_loss = sum([cross_entropy_loss(out, tar) for out,tar in zip(output.view(-1,output.shape[-1]), target.view(-1))]) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值