本文介绍了一种创新的图像理解技术，通过建立图像特征与wordvector间的映射，实现从概念到图片特定区域mask的精准生成。利用PMI生成wordvector，结合resnet50等基础网络提取特征，通过embeding网络优化，最终生成精细的attentionmap，并通过二分类mask分割模型进一步提升精度。
文章主要实现了以下任务：
给定一个概念和一张图片，模型在图像上生产对应区域的mask。
文章主要实现思路：
- 建立图像特征与word vector之间的映射关系，从而得到attention map
具体方式是：
- 利用PMI生产word vector
- 基础网络（如resnet50）提取图像特征之后进过GAP，然后经过三层 embeding 网络，使embeding结果与word vector距离尽量接近
- 去掉GAP，得到feature map，feature map与word vector求内积，表征对该word的响应图（attention map）
- 一幅图对应多个图像时，求多个word vector的加权平均，权重利用idf求得
- attention map不够精细，所以利用带有bbox的数据进行refine
- 将图像与之前得到的attention map作为输入，训练一个二分类mask 分割模型
扫一扫
7721
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
