达观数据推荐算法实现：协同过滤之item embedding

推荐系统本质是在用户需求不明确的情况下，解决信息过载的问题，联系用户和信息，一方面帮助用户发现对自己有价值的信息，另一方面让信息能够展现在对它感兴趣的用户面前，从而实现信息消费者和信息生产者的双赢（这里的信息的含义可以非常广泛，比如咨询、电影和商品等，下文中统称为item）。达观数据相关推荐是达观推荐系统中的重要组成部分，其价值在于，在没有用户画像信息的情况下，也能给用户以好的推荐体验，比如资讯类，通过达观相关推荐算法找到item相关的其他item，可以提供对某一类或者针对某一事件多角度多侧面的深度阅读。本文主要先简单介绍相关推荐的一些常用算法，然后介绍一下基于item embedding的协同过滤。

1. 达观相关推荐的常用算法
   1.1 Content-based相关推荐
   基于内容的推荐一般依赖于一套好的标签系统，通过计算item之间tag集合的相似性来衡量item之间的相似性，一套好的标签系统需要各方面的打磨，一方面需要好的编辑，一方面也依赖于产品的设计，引导用户在使用产品的过程中，对item提供优质的tag。
   1.2 基于协同过滤的相关推荐
   协同过滤主要分为基于领域以及基于隐语义模型。
   基于领域的算法中，ItemCF是目前业界应用最多的算法，其主要思想为“喜欢item A的用户大都喜欢用户 item B”，通过挖掘用户历史的操作日志，利用群体智慧，生成item的候选推荐列表。主要统计2个item的共现频率，加以时间的考量，以及热门用户以及热门item的过滤以及降权。
   LFM（latent factor model）隐语义模型是最近几年推荐系统领域最为热门的研究话题，该算法最早在文本挖掘领域被提出，用于找到文本隐含的语义，在推荐领域中，其核心思想是通过隐含特征联系用户和物品的兴趣。主要的算法有pLSA、LDA、matrix factorization（SVD，SVD++）等，这些技术和方法在本质上是相通的，以LFM为例，通过如下公式计算用户u对物品i的兴趣：