User Interest Profiling from User Generated Visual Content----论文笔记

标题：根据用户产生的视觉内容（图像）分析用户兴趣

一、背景

1）准确地辨识出用户的特质和兴趣对私人定制和推荐系统都很重要。

2）目前大多数工作都集中在用户产生的文本内容上，用户产生的视觉内容（图像）相对却很少受到关注，而图像现在非常普遍，且图像还不受语言障碍，所以这个课题值得研究。

二、idea

1）假设用户上传的图片是反映了自己的兴趣点，那么我们就可以根据分析这些图片内容，然后利用图片信息来推断用户的兴趣分布了。

2）观察到，一个类别（如体育）下可有多个组（如足球、篮球），一个类别中的图片有一些共同特征，但类下组里的图片相似性更强。对应的方法为，利用图片级（image-level）信息在图片之间传播标签信息（这里的标签应该理解为组，我是这么认为的），利用类之间的相关性对所有图片进一步传播类别级（category-level）信息。

三、方法

问题描述

输入：用户$u$在社交平台上上传的 $I$ 张图片

​ $C$ 个兴趣类别。

输出：在用户级（user-level）$C$ 个兴趣类别上的概率分布，作为用户的兴趣分布。

训练图像级分类模型

利用图片及其标签来微调在ImageNet数据集上已经训练好的网络，具体来说，深度CNN特征提取自训练好CNN模型的最后一个全连接层，并用此作为后续操作的铺垫。

图像级和组级标签传播预测

引入组级（group-level）相似性来传播图像标签。

类级（category-level）信息：设n为类别数目，定义$G{\in}R^{n\times{n}}$为这n个类之间的规范化（行和为1）相似性矩阵。

图像级（image-level）信息：定义$W$为规范化的相似性矩阵。

组级（group-level）信息：$Y^{t+1}=(1-\Lambda)WY^tG+\Lambda{Y^0}$ （1）

​ 其中，$Y^0$是图像标签的初始估计，

​ $\Lambda_{i,i}=\max_j\frac{Y^0_{i,j}}{\sum_kY^0_{i,k}}$ （2）

组约束标签传播算法如下：

其中 G <script type="math/tex" id="MathJax-Element-10">G</script>的计算采用的是Jaccard index。