短视频内容理解和推荐算法比赛大揭秘

投稿：极链科技

作者：点心（AI实验室）

 

不知不觉，你是否发现身边的小伙伴们都在疯狂的玩抖音，刷微博，你的购物APP也变得越来越聪明，很了解你想要的东西，就连点个外卖，美团和饿了么都知道你想要吃什么呢？是什么黑科技让这些APP变得如此神通，能深深的吸引着你的目光和味蕾呢？其实，之所以你觉得它越来越聪明越来越懂你，当然少不了你跟它之间的亲密“沟通”，看似不经意的一次点击，一次停留，它都默默的记了下来，等待你的再次临幸。这位神秘的幕后主使就是我们今天要讲的——个性化推荐算法。目前它已经深入到互联网的各类产品中，也经历了数次更新迭代，变得越来越贴心了。接下来，我将通过一个近期我们参加比赛具体讲解一些其中的算法原理。

这次比赛是由今日头条主办的短视频内容理解与推荐竞赛，我们的成绩在大规模亿级的赛道中拿了第四名,千万级数据规模的赛道中第五名。这也是我们极链AI实验室首次尝试推荐算法。

首先，来讲讲什么是推荐算法。推荐算法大致可以分为三类：基于内容的推荐算法，协同过滤推荐算法和混合推荐算法。基于内容的推荐算法，原理是将用户喜欢和自己关注过的Item在内容上类似的Item推荐给用户，比如你看了复仇者联盟1，基于内容的推荐算法发现复仇者联盟2、3、4，这些与你以前观看的item在内容上有很大关联性。协同过滤算法，包括基于用户的协同过滤和基于item的协同过滤，其中基于用户的协同过滤是通过用户之间的相似性，挖掘与用户具有相似兴趣的用户喜欢过的item，比如你的朋友喜欢复仇者联盟，那么就会推荐给你。基于item的协同过滤是找到跟用户喜好最相似的商品，然后推给他。混合推荐算法，则会融合以上方法，以加权或者串联、并联等方式进行建模。常用的包括传统机器学习算法如因子分解机（FM，FFM），LR，GBDT，RF和近几年流行起来的DNN和FM结合的算法。

这三种类型的推荐算法各有千秋，内容推荐算法的优点在于可以避免I