
spark
不是我的货
开始写博客,开始输出我知道的东西
展开
-
自学spark资料收集
开源力量:http://www.osforce.cn/course/137 http://blog.youkuaiyun.com/uuussseeennn/article/details/22297197原创 2015-09-07 07:10:37 · 315 阅读 · 0 评论 -
spark源码总结
1sparkenv http://www.jianshu.com/p/f7ffcceb415c http://stark-summer.iteye.com/blog/2177277 SparkDeploySchedulerBackend核心是为了启动CoarseGrainedExecutorBackend CoarseGrainedExecutorBackend是具体在Work转载 2015-10-09 21:09:25 · 305 阅读 · 0 评论 -
spark的检测系统
首先parallelize和makeRDD的区别:makeRDD有两种实现,一种调用parallelize,另一个为数据提供了位置信息。原文解说: http://www.iteblog.com/archives/1512 其中spark的conf目录下Metrics文件,是一个检测系统的配置文件,可以在这个配置文件中配置其他监控系统如:ganglia 以下链接是配置ganglia步骤:h原创 2015-10-25 18:57:21 · 440 阅读 · 0 评论