详细解读Youtube推荐算法

随着深度学习的火热，越来越多的问题都开始尝试采用深度学习算法来解决，包括推荐算法。16年的时候，谷歌公开了Youtube的推荐算法，Deep Neural Networks for YouTube Recommendation(https://static.googleusercontent.com/media/research.google.com/zh-CN//pubs/archive/45530.pdf)，采用了深度学习算法，在效果上超越了最常用的矩阵分解算法。这篇文章介绍了Youtube的推荐算法架构，还有视频场景的一些经验，以及算法上的技巧。虽然这篇文章距今已经过去两年多，但是其中的一些经验和技巧，仍然值得借鉴。本文接下来会分三部分进行介绍，首先是做一个总体的介绍，第二部分介绍召回算法，第三部分介绍排序算法。

一，概括

相对于一般的场景，Youtube的推荐存在三大困难，一是数据规模庞大，用户量大，视频也多，一些在小数据集上效果不错的算法在Youtube上效果一般；二是不断有大量新视频上传，需要解决视频的冷启动问题；三是数据有噪声，用户的行为非常稀疏且只有隐反馈，视频的描述信息混乱且不规范，因此需要算法对于噪声数据有较强的鲁棒性。第一点正好满足深度学习吃数据的特点，第二点文中提出了针对性的解决办法。
整个推荐架构分为两部分，召回和排序，如图1所示。第一个蓝色的漏斗就是召回算法，从百万级数量的视频物料库中筛选出几百个视频。除了这里采用的深度学习召回算法，还可以加入其他的召回视频源，如图中的红色方格，一起送给排序算法。因为计算量大，所以召回算法不可能也没必要采用所有特征，因此召回算法只采用了用户行为和场景特征。排序算法使用了更多的特征，给每个候选视频计算一个分数，并且按照分数从高到低排序，从几百个视频里边再筛选和排序出几十个视频推荐给用户。在对算法进行评估时同时采用了离线指标和在线AB test，并且以AB test作为主要的评估指标。