抖音是怎么做到不重复推荐内容呢？

这是我的第51篇原创

你在刷抖音的时候，有没有发现，抖音从来不会给你推送相同内容的视频？你可能会想，这有啥难的，给每个人都存一个记录，以后推送的时候避开就好了呀。nononono！可没有这么简单哈！

海量用户的重复内容过滤

这是一个非常严肃的问题。

在互联网领域，重复推送是一件非常影响用户体验的行为。一旦出现重复内容，会大大增加用户跳出的几率。

搞数据库的同学会说：这还不简单？反正有用户日志，我们给每个人都存一个访问日志表，推送之前exists一下就好了。怎么说呢，如果用户量只有你们公司几百号人，这个方案是没问题的。但是抖音、快手动辄几亿人，每天都刷，这得存多少份log？？每一个用户的log有多大？每一个推送都要从这个大log里exists一下，得耗多少时间？等你exists一下，用户早就跑了好么？

所以在抖音、快手动辄几亿日活，每人每天最少看几百个短视频的情况，如何快速推送不重复的内容是非常困难的事情。

高速过滤的秘密武器

需求：几亿个用户，每个用户有1~几万（甚至更多）个已看记录，快速判断下一个推送给用户的视频是否已经看过。

解决方案1-表级处理：每个用户一张表，存视频id，推荐之后，展示之前，过滤一下。这个表太多，表里的数据也太多，过滤效率太慢了。信息得进一步压缩，速度要再快点才行。