Baby Talk and Neural Baby Talk

最新推荐文章于 2025-11-03 17:10:42 发布

原创最新推荐文章于 2025-11-03 17:10:42 发布 · 565 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#image captioning

跨媒体专栏收录该内容

23 篇文章

订阅专栏

本文探讨了使用完形填空方式生成图像描述的两种方法：BabyTalk和NeuralBabyTalk。通过对比传统babytalk、neuralbabytalk及encoder-decoder方法，介绍了如何结合attention机制、Stanford lemmatization toolbox及faster RCNN进行视觉词汇识别与生成。

两篇关于用类似完形填空方式做image captioning的文章。

1.Baby Talk: Understanding and Generating Image Descriptions[CVPR2011]。
2.Neural Baby Talk[CVPR2018]。code

文章列出了传统baby talk， neural baby talk和主流encoder-decoder三种生成图像描述方法的示意图。
Examples
这个方法主要的思路是有现有的基于attention的方法生成一个sentence，这个sentence叫做template，然后利用Stanford lemmatization toolbox去判断生成sentence中的visual word，最后再通过计算生成这个visual word过程中的attention map多对应bounding box与faster RCNN中所对应的bounding box之间的IOU，IOU大于0.5就选择faster RCNN检测对应的class即为visual word，否则选择原LSTM生成的visual word，得到visual word后，再判断visual word的单复数和细粒度的类别，文章的framework如下所示。