图像标题生成任务中，误差累积问题是早期CNN-RNN模型的挑战。该文提出将条件生成对抗网络（CGAN）应用于图像标注，通过加入Discriminator和语言评估器，平衡生成句子的准确度和流畅性。实验表明，这种方法能有效提升图像标题的质量。
Chen C , Mu S , Xiao W , et al. Improving Image Captioning with Conditional Generative Adversarial Nets[J]. 2018.
一、前言
图像标注（image captioning）是一门综合计算机视觉和自然语言处理的深度学习研究，相比于图像分类（image classification）、目标检测（object detection）和语义分割（semantic segmentation）等任务，其更复杂，也更具挑战性。
最早，人们基于encoder-decoder提出CNN-RNN结构进行图像标注，其中CNN用作图像表示III，RNN用作句子生成GθG_{\theta}Gθ，并使用极大似然估计进行训练JG(θ)J_G(\theta)JG(θ)，但存在误差累积问题。
JG(θ)=1N∑j=1nlogGθ(xj∣Ij)=1N∑j=1N∑t=1TjlogGθ(xtj∣x1:t−1j,Ij)J_G(\theta) = \frac{1}{N}\sum_{j=1}^{n}\log G_{\theta}(x^j|I^j) = \frac{1}{N}\sum_{j=1}^N\sum_{t=1}^{T_j}\log G_{\theta}(x^j_t|x^j_{1:t-1}, I^j)JG(θ)=N1
最低0.47元/天 解锁文章
扫一扫
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
