超级会员免费看
本文介绍了基于Hadoop的大数据推荐系统架构。用户在购买商品后，其行为日志被Tomcat收集并通过Flume存储到HDFS。YARN调度Spark Streaming进行实时计算，找出相似商品，结果存储在数据库或文件中。后端JavaEE系统从分析结果中获取数据，推荐给用户。
然后我们来看一下推荐系统的架构是什么样子的,
比如你购买完淘宝的商品以后他就会自动的给你推荐类似的产品.
从上面可以看到,比如我要买海狗人参丸,那么当我们点击这个商品,会给nginx发送请求,然后
这个请求的记录,会被tomcat等收集,这里也就是收集用户的行为日志.
收集起来这个用户的购买行为日志以后,然后把这个日志数据,属于稳健日志,然后
通过flume进行日志收集,收集以后存到hdfs文件中存储,或者存到hbase中,但最终都是存到hdfs中,
然后再通过yarn进行调用,计算资源,比如利用spark streaming去进行实时计算,获取该用户的,历史商品访问数据,同时获取,系统中的
其他商品数据,结合用户本次购买的商品数据,把类似商品找到.
找到以后:
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
