cafuc46wingw的专栏

转自：http://www.guozhongxin.com/pages/2014/10/15/spark_source_code.htmlSpark源码阅读环境的准备Spark源码是有Scala语言写成的，目前，IDEA对Scala的支持要比eclipse要好，大多数人会选在在IDEA上完成Spark平台应用的开发。因此，Spark源码阅读的IDE理所当然的选择了IDEA。

在终端打开spark-shell然后在scala编辑模式下依次输入以下命令：//导入算法执行所需函数库import org.apache.spark.mllib.clustering.KMeansimport org.apache.spark.mllib.linalg.Vectors// 加载并分析数据val data = sc.textFile("data

所遇问题：由于在IDEA下可以方便快捷地运行scala程序，所以先前并没有在终端下使用spark-submit提交打包好的jar任务包的习惯，但是其只能在local下执行，在网上搜了好多帖子都不能启动spark集群，由于实验任务紧急只能暂时作罢IDEA下任务提交，改由终端下使用spark-submit提交打包好的jar任务。

Spark集群中worker节点扩展经验

【一】Hadoop版本演进过程           由于Hadoop1.X 以前版本在 MapReduce 基本构架的设计上存在作业主控节点(JobTracker)单点瓶颈、作业执行延迟过长、编程框架不灵活等较多的缺陷和不足,2011 年 10 月,Hadoop 推出了基于新一代构架的 Hadoop0.23.0 测试版,该版本系列最终演化 为Hadoop2.0 版 本, 即 新 一 代 的 H

IDEA中集群运行模式的配置