【论文阅读笔记】Visual Sentiment Prediction Based on AutomaticDiscovery of Affective Regions

主题：视觉情感分析

贡献：

a）提出了一个深度框架，用于自动发现图像的情感区域，这些区域很可能会引发重要的情绪信息。该框架不依赖于图像中的对象类别，也不需要对边界框注释，比现有方法更加通用。

b）使用CNN构建视觉情感预测模型，该模型利用来自全局图像和局部图像区域的整体和局部信息。实验证明，最终得到的表达特征有助于视觉情感分类，在情感数据集的表现优于前人的方法。

c）实验结果表明，本文提出的框架可以通过迁徙学习推广到小规模数据集。

方法详述：

模型框架如上图所示，作者提出利用图片局部细节及全局信息来分析视觉情感，引入了图片中的情感区域（AR）的概念，包含两个显著特征：

1.AR是一个显著区域，可能包含一个或多个对象，能够吸引人们的注意力

2.AR传达了重要的情感

A.产生候选AR

1）生成候选区。在计算机视觉中，检测具体对象，如狗，车等，已经做的很好了，然而对抽象概念的建模还存在很大的挑战，如娱乐，兴奋等。困难来自于低级别的视觉特征和高级别的情感表达间的“情感鸿沟”。有研究已经证明，将形容词与具体对象联系起来可以使组合的视觉概念更易于检测和处理视觉情感分析。受对象和情绪之间强烈的共现关系的启发，提出可以将对象区域用作潜在的情感区域。

由于框架将候选对象作为输入，最后的预测结果是融合每个AR和整体特征的预测结果，所以模型的性能很大程度上依赖AR的质量。然而这是困难的，因为有效的候选区不仅需要检测物体而且需要检测到能够影响情绪的背景。有两个需要满足的标准：

1.提出的框架是基于这样的假设：候选区域可以覆盖图像中影响情感的对象以及部分背景，这需要高检测召回率。

2.候选