2017最新研究成果SIGIR

原文地址

SIGIR是展示信息检索领域新技术和新成果的顶级国际会议。 SIGIR 2017 今天开幕，今年阿里巴巴共有两篇文章被大会收录。

以下内容为被收录文章精华内容简述。

一、基于概率隐层模型的购物搭配推送

论文链接：
https://arxiv.org/pdf/1707.08113.pdf

这篇文章中，我们对电商领域营销推送场景进行点击率的优化。营销推送场景和传统电商推荐场景有很多类似的地方，但也有所不同。首先，营销推送的点击率受文案影响很大，和用户直接相关的文案的点击率会明显高于通用的推送文案；其次，每次营销推送只有一个展示坑位，因为对推送商品的准确度要求更高。

为解决第一个问题，我们进行“购物搭配”场景的推荐。购物搭配场景推送一个和用户已购买商品的搭配商品，比如当用户买了高级茶壶后对上好茶叶进行推送（下图第二个推送信息）。购物搭配的好处是文案中可以透出用户已购商品，消息可以和用户建立强烈的attachment，提升消息打开率。

为寻找搭配商品对，我们定义如下两个指标：

1）同时购买分数（Co-Purchase Graph）

2) 看了又买分数（View-and-then-Purchase Graph）

第一个指标衡量了两个商品之间的互补性（complementarity），第二个指标衡量了两个商品的替代性（substitutivity）。购物搭配场景下，我们希望寻找高互补性、低替代性的商品对进行推荐。因此，我们把商品对“搭配性”的得分定义为

这个分数是我们推荐模型中的一个重要特征

为了解决推荐准确性的问题。我们对用户分层进行更细致的刻画。我们的主要思想是基于用户行为对用户的向量表示（Embeddings）进行学习，然后我们用这些向量表示对用户的行为进行预测。向量表示可以理解为对用户在高维度的一个量化的抽象表示。

向量表示的好处是可以更精准，更灵活的对目标进行表达。举个例子，我们对用户的描述不仅仅局限于年龄、消费能力等人可以Intuitively容易想到的维度，人工智能可以自动从消费者数据中学习到更全面更抽象的维度，比如用户对推荐平台的依赖程度，用户对选择商品的创新性等。

用户向量的学习我们采用的是概率隐层模型（Probabilistic Latent ClassModeling）。首先我们定义用户点击模型如下，

这个模型分为两层，第一层是隐层用来刻画用户在高维度下的分层，采用多维逻辑回归分类的形式。

第二层是点击率预测模型。我们这里选择了一个二维逻辑回归模型。不过可以很容易的扩展使用深度神经网络。

我们要在已知用户特征和点击数据的条件下估计模型参数。我们采用经典的EM（Expectation-Maximization）算法。

EM算法需要先求解Q函数，

为优化 Q函数我们对参数进行迭代优化如下，

上面两个更新很容易通过Gradient Decent方法求解。

下图是我们对求解模型的一个解释。我们发现高活跃用户更加看中自己的倾向，预测模型的权重在用户偏好类的特征中高（high model weights on user preference features）；低活跃用户更加依赖于平台的推荐，更喜欢平台选择的搭配性好的商品，预测模型权重在商品搭配性的特征权重高(high model weights on )。这可以直观的理解为深度用户在选择商品上更有自己主见，而新手更依赖与平台。

目前该工作在线上取得了不错的效果，购物搭配的推送推荐场景上看到~50%点击率的提升。

更广义的来讲，这项技术给行业带来的好处的是可以更精准和全面的刻画用户，进一步推广可以用来描述商品、资讯、视频等其他目标。该技术可以帮助使我们的营销推荐更友好（了解用户），同时从商业上提高转化率（高点击率）。

二、GAN在信息检索领域的应用——IRGAN

论文链接：https://arxiv.org/abs/1705.10513

Information Retrieval（IR）的典型问题是给出一些查询词（query），返回一个排序的文档列表（documents），但IR的应用范围可以扩展到文档检索、网页搜索、推荐系统、QA问答系统和个性化广告等等。在IR的理论或模型领域，有两种典型的思维方式（如图所示）：

• 生成式IR模型：第一种思想认为documents和query之间有一个隐含的随机生成（generative）过程，可以表示成：q→d，其中q表示query，d表示document，箭头表示生成的方向，生成模型对p(d|q)进行建模。

• 判别式IR模型：第二种思想采用了机器学习的方法，将IR的问题转化成一个判别（discriminative）问题；可以表示成：q+d →r，其中+表示query和document的特征的组合，r表示相关性，如果r为0或1，则问题是一个分类问题，如果r是一个相关分数，则问题是一个回归问题；现在著名的方法就是排序学习（Learning to Rank）。排序学习可以分为Pointwise、Pairwise和Listwise三种模型。

虽然IR的生成模型在Query和Document的特征建模（例如文本统计）的方面非常成功，但它在利用来自其他的相关性信息（如链接，点击等等）方面遇到了很大的困难，而这些信息主要可以在现在互联网的应用中观察得到。于此同时，虽然诸如排序学习的IR判别模型能够从大量的标记和未标记的数据中隐式地学习检索排序函数，但是它目前缺乏从大量未标记数据中获取有用特征或收集有用信号的原则性方法，特别是从文本统计（源自Document和Query两方面）或从集合内相关文档的分布中。

应用GAN的思想，IRGAN引入博弈论中的minmax博弈，来将生成式IR模型和判别式IR模型进行结合。具体来说，我们为两个模型定义一个共同的检索函数（例如基于判别的目标函数）。一方面，判别模型p_φ (r|q,d)旨在通过从标记数据中学习来最大化目标函数，并为生成模型提供训练的指导性信息。另一方面，生成模型p_θ (d|q,r)充当挑战者，不断地将判别器的decision boundary推向其极限它为判别器迭代地提供最困难的情况，判别器通过对抗的最小化目标函数来重新训练自身。

下面具体地介绍IRGAN的方法，会分别介绍GAN中对应的Discriminator（D）和Generator（G）。

• Discriminator：f_φ (q,d)，其中，φ是D的参数。D的输入时Query-Document对数据(q,d)，而输出则是这对数据是否匹配。这相当于一个二分类问题，可以通过logistic regression给出：

与原始的GAN相同，D的目标是最大化：

• Generator：p_θ (d|q,r)，其中，θ是G的参数。G的输入时Query，输出是与Query相关的documents的概率分布，相关性即由这个概率分布表示。p_θ (d|q,r)由Softmax函数给出：

G的目标是最小化：

对IRGAN的training部分，G和D交叉进行更新。对于D，可以采用梯度下降更新法；对于G，由于G的输出是离散documents的概率分布，没办法直接采用梯度下降的方法求G的梯度，针对这种使用GAN训练离散数据的问题，可以采用强化学习中Policy Gradient的方法，reward由D给出。整个训练过程如下图算法所示：

在实验部分，做了三个不同的IR任务：Web Search，Item Recommendation和Question Answering，实验结果表明，IRGAN模型打败了多种strong baseline。开源代码在：https://github.com/geek-ai/irgan。

原文地址