Kafka
文章平均质量分 79
wangjinming1976
IT老民工
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
在clouder manager中使用Flume处理数据链
目标:在Cloudera Manager中创建两个Flume的Agent,Agent1从local file中获取内容,写入到kafka的队列中。Agent2以Agent1的sink作为source,将数据从kafka中读取出来,写入到HDFS中。注意我的Cloudera Manager使用的是CDH5.8的Parcel,在这个版本中,Kafka使用的是0.9.原创 2016-12-06 15:02:59 · 5430 阅读 · 1 评论 -
用Spark Streaming+Kafka实现订单数和GMV的实时更新
前言在双十一这样的节日,很多电商都会在大屏幕上显示实时的订单总量和GMV总额。由于订单数量巨大,不可能每隔一秒就到数据库里进行一次SQL的数据统计,这时候就需要用到流式计算。本文将介绍一个简单的Demo,讲解如何通过Spark Stream消费来自Kafka中订单信息,然后计算订单的数量和金额。总体流程一个完整的流程大概如下图所示。用户下单之原创 2017-02-04 15:04:11 · 6413 阅读 · 0 评论
分享