RALM: 实时 Look-alike 算法在微信看一看中的应用

嘉宾：刘雨丹 腾讯 高级研究员

整理：Jane Zhang

来源：DataFunTalk

出品：DataFun

注：欢迎关注DataFunTalk同名公众号，收看第一手原创技术文章。

导读：本次分享是微信看一看团队在 KDD2019 上发表的一篇论文。长尾问题是推荐系统中的经典问题，但现今流行的点击率预估方法无法从根本上解决这个问题。文章在 look-alike 方法基础上，针对微信看一看的应用场景设计了一套实时 look-alike 框架，在解决长尾问题的同时也满足了资讯推荐的高时效性要求。

▌背景

微信大家可能都用过，微信中的“看一看”是 feed 推荐流的形式，涵盖了腾讯整个生态链的内容分发平台，包括腾讯新闻、公众号文章、腾讯视频等。每天总分发量在千万级以上，面对如此大的分发量，要满足不同兴趣偏好的用户需求，使用传统的方法时遇到了一些问题。我们针对发现的问题做了优化和改进，接下来分享下我们优化的过程。

▌未缓解的马太效应

马太效应，简单解释，在内容的生态系统中，自然分发状态会造成一种现象：头部10%的内容占据了系统90%的流量、曝光量or点击量，剩下90%的内容，集中在长尾的10%里。这对于内容的生产方、内容系统的生态和使用系统的用户来说，都是不健康的状态。造成这种现象的原因，是因为系统分发能力不够强，无法处理信息过载的现象，推荐系统设计的初衷就是为了解决马太效应问题。

回顾推荐系统的发展，从最开始的规则匹配 -> 协同过滤 -> 线性模型 -> deep learning，逐步缓解了马太效应现象，但没有完全解决。

造成这个现象的原因是传统模型、CTR 预估和 deep model，都对部分特征有依赖，没有把特征完全发掘出来，导致模型推荐结果是趋热的，使生态系统内优质长尾内容投放依然困难。因为 CTR model 最终趋向于行为特征，或者后验结果较好的数据，对于优质长尾内容，如小众兴趣的音乐、电影、深度报道的新闻专题等，获得的相应曝光依旧困难，处于马太效应 long tail 90%的部分，这会影响推荐系统的生态，导致推荐系统内容越来越窄。

▌为什么无法准确投放长尾？

怎样解决这个问题？这个问题归根结底是对内容的建模不够完整。我们尝试分析下问题出在哪：

先看下推荐系统建模流程。首先得到原始样本，这是业务下的训练数据，形式是三元组：userid，itemid 和 label。如果是 timeline 的样本，那就是点击或者不点击。原始样本中，一条样本可以完整表示一个用户在某个时间点对一个 item 产生了一次行为，把这个三元组当作信息的最完整形式。对于这个完整形式，直接建模很简单，如传统的 item CF，或者协同过滤。协同过滤是最初级的方法，直接对 uid，itemid，label 做拟合，因为可以完全利用初始样本的信息，拟合的准确性非常好。弱点也很明显，对原始样本中没有包含的 userid 或者 itemid，没有泛化推理能力，后续新曝光的 user 和 item 是无法处理的。这个问题，就是我们要做的第二步骤，对原始样本做抽象。既然无法获取所有的 userid 和 itemid，那就要对 user 或者 item 做一层抽象，如 user 抽象成基础画像：年龄、性别或所处地域；item 抽象成语义特征：topic、tag 等；item 历史行为特征，简单做统计：过去一段时间的点击率、曝光率、曝光次数。最后基于泛化过的特征做拟合，得到最终模型。

问题出在哪？做原始特征抽象，抽象意味着发生了信息损失，这部分信息损失导致模型拟合时走向了比较偏的道路。举个简单的例子：同一个 item，有相同的 topic tag，历史点击率和历史曝光次数和点击次数也相同，可以说这两个 item 是相同的吗？显然有可能是不同的。使用统计特征无法完整表达，同样的 item 点击都是0.5，PV 都是1000 or 2000。有些 item 被这群用户看过，有些 item 被那群用户看过。尽管语义特征和行为特征都相同，但两群 user 不同，Item 的受众也不同。这里说的抽象的方式，是不完整的 item 行为建模，也是对 item 历史行为不完整的刻画，这就导致了整个 model，对 item 后验数据十分依赖，导致推荐结果趋向于 CTR 表现好或者 PV 表现好的 item。最终后验数据表现好的数据又会更进一步被模型推荐且曝光，这样会造成恶性循环：一方面，加剧了头部效应的影响，使模型陷入局部最优；另一方面，整个推荐系统边界效应收窄，用户趋向于看之前表现好的数据，很少看到能拓宽推荐系统边界或者用户视野的长尾数据。

▌Look-alike 模型

问题就是这样产生的， 可以思考一下，问题的本质是什么？就是因为模型无法对 item 行为完整建模，这一步信息损失太大，怎么解决这个问题呢？我们首先想到了一种方案：look-alike。

这是广告领域的经典方案，这类模型的方法也很简单，首先可以有一个候选集合的 item，我们要推这部分 item，怎么推呢？第一个步骤：