流式计算
关注
分享
扫一扫
老乔家大哥
大数据
展开
-
spark入门之wordcount
曾经哥也学过scala，spark。下面为helloworld案例： 1. wordcount 只需两行代码，其实还可压缩成一行。就完成了词频统计，确实编码效率高啊 2. sparksql 创建sql的上下文，导包，读文件，生成RDD RDD转化成表，查询条件查询，打印结果 现在好像都不用shark了，都改用sparksql了。不过南京这边，hadoop还是重头戏。原创 2014-12-16 14:32:46 · 1156 阅读 · 0 评论 -
Spark Streaming Kafka开发现在很成熟了
现在spark streaming流处理很成熟了，基于kafka的官方也提供了2种API。一种是Receiver-based Approach，一种是Direct Approach (No Receivers)。第二种方式性能比较高，是以后的趋势，但目前还叫实验版。原创 2016-03-31 16:03:56 · 1065 阅读 · 0 评论