
大数据
文章平均质量分 94
butterluo
这个作者很懒,什么都没留下…
展开
-
Spark Streaming 流计算优化记录(2)-不同时间片数据流的Join
关于Spark Streaming优化的各种叽里呱啦记录, 这一次是从跑不动, 一直优化到能每秒解决6万条输入消息以及3G数据的Inner Join. 大数据,流计算,spark,kafka,hadoop原创 2015-07-27 13:41:14 · 10041 阅读 · 7 评论 -
Spark Streaming 流计算优化记录(1)-背景介绍
关于Spark Streaming优化的各种叽里呱啦记录, 这一次是从跑不动, 一直优化到能每秒解决6万条输入消息以及3G数据的Inner Join原创 2015-07-27 13:30:49 · 4177 阅读 · 0 评论 -
Spark Streaming 流计算优化记录(3)-控制流量与join的地点
关于Spark Streaming优化的各种叽里呱啦记录, 这一次是从跑不动, 一直优化到能每秒解决6万条输入消息以及3G数据的Inner Join. 大数据,流计算,spark,kafka,hadoop原创 2015-07-27 14:00:13 · 4565 阅读 · 2 评论 -
Spark Streaming 流计算优化记录(6)-GC优化与shuffle service
关于Spark Streaming优化的各种叽里呱啦记录, 这一次是从跑不动, 一直优化到能每秒解决6万条输入消息以及3G数据的Inner Join. 大数据,流计算,spark,kafka,hadoop原创 2015-07-27 14:43:20 · 4796 阅读 · 0 评论 -
Spark Streaming 流计算优化记录(5)-分区与内存的优化
关于Spark Streaming优化的各种叽里呱啦记录, 这一次是从跑不动, 一直优化到能每秒解决6万条输入消息以及3G数据的Inner Join. 大数据,流计算,spark,kafka,hadoop原创 2015-07-27 14:38:13 · 3872 阅读 · 1 评论 -
Spark Streaming 流计算优化记录(4)-时间都去哪儿了,关于调度与空转
关于Spark Streaming优化的各种叽里呱啦记录, 这一次是从跑不动, 一直优化到能每秒解决6万条输入消息以及3G数据的Inner Join. 大数据,流计算,spark,kafka,hadoop原创 2015-07-27 14:17:40 · 3968 阅读 · 2 评论 -
ALS推荐算法在Spark上的优化--从50分钟到3分钟
Spark上的ALS推荐算法优化, 从无法满足业务需求的耗时50分钟到3分钟.原创 2015-09-07 19:47:39 · 14371 阅读 · 9 评论