- 博客(2)
- 资源 (10)
- 问答 (1)
- 收藏
- 关注
原创 Spark小技巧之pivot
最近在用spark处理数据的时候,遇到了这样一种需求:我想统计每个城市在工作日和周末早高峰、晚高峰、夜高峰和普通时间段的订单数,并且早高峰、晚高峰、夜高峰和普通时间段分别占一列。原始文件CSV文件的内容如下图所示:peak_type代表时间段,其中morning_peak代表早高峰、evening_peak代表晚高峰、nignt_peak代表夜高峰、normal代表正常时间段。这个问...
2019-02-14 14:50:20
2173
原创 Spark streaming与kafka相结合
版本:Spark streaming 2.11 Kafka:0.9.0.0 scala:2.11.8Spark streaming消费kafka主要有两种方式:receiver方式和直连方式。一、receiver方式:1、利用kafka高阶API,offset由zookeeper维护。2、方式:KafkaUtils.createStream(streamingConte...
2019-02-14 14:36:01
414
深入理解Java虚拟机++JVM高级特性与最佳实践
2014-11-20
使用Ext Pushlet 实现的点对点聊天功能最新
2014-11-19
Javamail1_4_7
2014-11-14
elasticsearch2.3.5 聚合无法起作用,求助????
2016-08-19
TA创建的收藏夹 TA关注的收藏夹
TA关注的人