Text-Guided Attention Model for Image Captioning

该方法利用指导性文字引导视觉注意力,训练图像标题生成网络。通过VGG和Skip-thought Encoder获取图像和描述的特征,使用CIDEr计算相似性。在Decoder中,根据注意力地图加权求和图像特征生成标题。训练时,随机选择相似描述作为指导,测试时使用多个候选指导生成并排序句子。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

In our approach, we leverage a guidance captions as associated text language to steer visual attention. Our image captioning network is trained to minimize the following loss:

1.给定一张图片,从训练集中选择一张相似的图片和一条描述

2.相似的图片和描述are transformed to separate multi-dimensional feature vectors, 用来计算attention map

3.In the attention map, the regions relevant to the guidance caption are highlighted while irrelevant regions are suppressed. The decoder generates an output caption based on a weighted sum of the image feature vectors, where the weights are determined by the attention map.

 

Ground-truth caption是理想的guidance caption,但是测试的时候没法用,因此采用采样的方法获取guidance caption。相似的图片有共同的显著区域和描述。

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值