WWW2015|深度学习在推荐系统跨域用户建模中的应用

A Multi-View Deep Learning Approach for Cross Domain User Modeling in Recommendation Systems

Ali Elkahky, Yang Song, Xiaodong He

Columbia University, Microsoft Research

https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/frp1159-songA.pdf

在线服务比较依赖于对大量用户自动推荐相关的内容。针对在线服务，新用户首次到访时，需要即时推荐相关内容。

这篇文章提出一种基于内容的推荐系统，不仅考虑推荐质量，同时也考虑系统的扩展性。根据用户的历史浏览行为和搜索记录，进而利用丰富的特征集来表示用户。

作者们利用深度学习方法将用户和商品映射到隐空间，在该隐空间中，用户和他们喜好的商品之间的相似度最大化。然后将这种模型加以扩展，引入一种多视角深度学习模型，进而可以对不同域的商品特征和用户特征进行联合学习。

针对这些丰富特征的用户表示，作者们通过对输入进行降维和缩减训练数据的量来使其可扩展。只要用户具有足够的搜索和浏览历史，这些丰富的用户特征表示有助于模型学到相关的用户行为模式。

将多个域结合起来放入单个模型，这样的学习方式可以提升多个域的推荐质量，同时可以得到更加紧致并且语义更加丰富的用户隐含特征向量。

作者们在三个来自微软产品的数据上进行了实验，windows上的app推荐，新闻推荐，电影/电视推荐。结果表明，该方法显著优于当时最好的算法，在现有用户上有49%的提升，在新用户上有115%的提升。

在公开数据集上的结果表明，在多域推荐系统中，该方法优于传统的生成式主题模型。

可扩展性分析表明，作者们所提出的多视角深度神经网络模型可以很容易扩展到百万用户和数十亿商品记录的场景中。

此外，结果表明，将多个域进行结合之后的效果优于单个域的独立模型。

推荐主要有两种方法，一种是协同过滤，一种是基于内容的推荐

协同过滤的缺点在于冷启动

基于内容的方法能够解决冷启动问题，但是有些信息并没那么容易获取

这篇文章的方法及特点如下

这篇文章的主要贡献在于

协同过滤算法主要有以下几种

基于内容的推荐及相应的隐含性假设如下

下面是用户特征构成

下面是新闻特征构成

app 特征构成如下

电影 电视 特征构成如下

数据集整体统计信息如下

DSSM简介如下

下面是DSSM的结构图示

DSSM的数学表示如下

激活函数及相似度函数表达式如下

在DSSM中，不是利用one-hot编码，而是利用hash方法，比如

这种方法有它的优点，比如针对未见词可以比较好的适应

衡量查询和文档的相关性可以利用下面的后验概率

发生点击的文档标记为正样本，未发生点击的文档随机选择一部分作为负样本，在训练时目标为最大化似然概率

多视角深度神经网络结构图示如下

多视角深度神经网络的描述如下

最终输出的概率表达式为

多视角深度神经网络的优势之一在于

优势之二在于

由于特征量太大，经常需要选取比较有用的特征

k-means也可以用于缩减特征

也可以利用局部敏感哈希来降维

上面几种方法是用来对特征降维的，有时也需要对样本进行缩减

数据集分割策略如下

两个衡量指标如下

参与比较的几个基准模型如下

数据集信息统计如下

部分匹配结果示例如下

几种算法的效果对比如下

几种算法的效率对比如下

训练误差随迭代次数变化趋势如下

---

              我是分割线

---

您可能感兴趣

ICDE2020|多图卷积网络在草药推荐中的应用

ATM|注意力转移模型在预测下一个商品中的应用

IJCAI2019|深层自注意力网络在序列推荐中的应用

AAAI2020|深度学习在表格分析中的应用

NIPS论文系列|复数域RNN,深层生成模型,DRL在MDP中的应用(已开源)

AAAI2020|结合时空信息的分层注意力网络在大规模社交网络中的应用

ICDE2020|基于深度学习的关系抽取

只有正样本和无标签样本时如何构建分类器

ICDE2020|图卷积网络在价格感知推荐中的应用

WSDM2020|基于强化学习的多轮对话推荐系统(EAR, 即将开源)

WWW2020|如何利用未来数据协助训练基于会话的推荐(GRec)

ICML2018|基于自注意力的序列推荐模型SASRec(已开源)

IJCAI2018|分层时空LSTM在位置预测中的应用(HST-LSTM)

IJCAI2019|基于会话和注意力机制的CTR预估模型DSIN(已开源)

AISTATS2018|密歇根大学提出新型在线boosting算法用于多标签排序(已开源)

AAAI2020|一种新型高效兼容多行为的推荐系统模型EHCF(已开源)

ICML2007|深度学习用于协同过滤的开篇作之一(出自深度学习鼻祖之一Hinton)

SIGIR2019|基于BERT的深度学习模型在信息检索中的应用(已开源)

SIGIR2019|深度学习如何更好地用于学习排序(LTR)(已开源)

SIGIR2019|利用DeepSHAP来解释神经检索模型(已开源)

KDD2018|基于GBM的动态定价回归模型

KDD2018|超越deepfm的CTR预估模型深层兴趣网络DIN(已开源)

RecSys2019|优于DeepFM和XDeepFM的CTR模型FiBiNET

SIGIR2018|选择性GBDT(SelGB)用于排序学习(已开源)

IJCAI2019|基于对抗变分自编码的协同过滤框架VAEGAN

聊聊CatBoost

聊聊XGBoost CatBoost LightGBM RF GBDT

顶会中深度学习用于CTR预估的论文及代码集锦 (3)

ICML 2018 深度学习论文及代码集锦(5)

深度学习用于文本摘要的论文及代码集锦

深度学习用于机器翻译的论文及代码集锦

深度学习用于序列标注中的论文及代码集锦

深度学习在推荐系统中的应用及代码集锦(4)

深度学习在OCR中的应用论文及代码集锦 (2)