EdgeRec：揭秘边缘计算在淘宝推荐系统的重要实践

原创

于 2020-01-09 15:40:58 发布 · 6.1k 阅读

18 ·

CC 4.0 BY-SA版权

文章标签：

#边缘计算 #机器学习 #搜索推荐 #存储 #人工智能

简介： 作者 | 凛至

1.前言

1.1 边缘计算 v.s. 云计算

在过去的这十年里，依托于大数据，云计算取得了非常耀眼的发展，与此同时也面临着一些问题：随着互联网应用及用户规模爆炸式增长，5G普及和带宽增加会带来云端存储的压力；目前在线系统部署大规模神经网络已经日益普遍，对云端计算产生巨大压力；对一些实时性要求比较高的应用来说，与云端巨大的通信开销也是交互和体验瓶颈；同时云端“中心化”的计算模式也会带来运维成本和故障风险。

边缘计算这个概念其实提出来也已经很久了，随着近几年终端设备的存储计算能力的快速发展，尤其是智能手机的性能（各种CPU、GPU的跑分，内存越来越大）已经成了主要的卖点，其计算能力目前看来远没有被充分利用起来。而且，边缘计算的优势在于下面四点：1）数据本地化，解决云端存储及隐私问题；2）计算本地化，解决云端计算过载问题；3）低通信成本，解决交互和体验问题；4）去中心化计算，故障规避与极致个性化。

1.2 推荐系统中的痛点

在全面进入无线的时代，为了解决信息负载的问题，越来越多的推荐场景得到兴起，尤其是以列表推荐形式为主的信息流推荐。以手淘信息流为例，进入猜你喜欢场景的用户，兴趣常常是不明确的，用户浏览时往往没有明确的商品需求，而是在逛的过程中逐渐去发现想买的商品。而推荐系统在用户逛的过程中，会向客户端下发并呈现不同类型的商品让用户从中挑选，推荐系统这个过程中会去捕捉用户的兴趣变化，从而推荐出更符合用户兴趣的商品。然而推荐系统能不能做到用户兴趣变化时立刻给出响应呢？

推荐系统以往的做法都是通过客户端请求后触发云端服务器的商品排序，然后将排序好的商品下发给用户，端侧再依此做商品呈现。这样存在下面两个问题：

推荐系统决策的延迟：由于云端服务器的QPS压力限制，信息流推荐会采用分页请求的方式，这样就会导致云端推荐系统对终端用户推荐内容调整机会少，无法及时响应用户的兴趣变化。如下图所示，用户在第4个商品的交互表明不喜欢“摩托车”，但是由于分页请求只能在50个商品后，那么当页后面其他“摩托车”商品无法被及时调整。

对用户行为的实时感知的延迟：目前推荐系统的个性化都是通过把用户与商品交互的行为作为特征来表达的，但是用户的行为其实是发生在客户端上的，推荐系统模型想要拿到用户的行为特征需要把端上数据下发到服务端，此时就会造成延迟的问题，如下图所示用户行为的延迟可能会达到10s~1min。于此同时，由于网络带宽延迟的问题，其他大量的用户细节行为（如商品的实时曝光、用户的滑动手势等）是无法进行建模的。