spark源码分析(2)-源码阅读环境准备

在前面介绍wordcount例子时没有对spark源码阅读环境的准备进行说明，本文就主要介绍Spark源码阅读环境的构建

1、环境准备

操作系统采用Ubuntu14.04（案例采用虚拟机中安装模式，桥接模式可访问外网）

下载JDK1.7+，Scala2.10(spark 1.6.3之前采用的是2.10版本，spark2.0之后采用scala2.11版本)，SBT，Maven3.3.9

下载hadoop-2.6，spark-1.6.3

hadoop,spark环境变量配置：

vi ~/.bashrc

export JAVA_HOME=$HOME/jdk1.7.0_80

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export SCALA_HOME=$HOME/scala-2.10.5

export SPARK_HOME=$HOME/spark-1.6.3-bin-hadoop2.6

export HADOOP_HOME=$HOME/hadoop-2.6.0

export HADOOP_COND_DIR=$HOME/hadoop-2.6.0/etc/hadoop

export MAVEN_HOME=$HOME/apache-maven-3.2.5

export SBT_HOME=$HOME/sbt

export PATH=$PATH:$SCALA_HOME/bin:$SPARK_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$MAVEN_HOME/bin:$SBT_HOME/bin

2、配置spark standalone模式

spark-env.sh

export SCALA_HOME=/home/weiw/scala-2.10.5

export SPARK_MASTER_IP=ubuntu

export SPARK_WORKER_MEMORY=1G

export JAVA_HOME=/home/weiw/jdk1.7.0_80

启动Spark的Master和Worker服务：

./sbin/start-master.sh

./sbin/start-slave.sh spark://ubuntu:7077

3、Ubuntu上spark源码编译

maven 简单介绍：-P表示激活依赖的程序及版本，-DskipTests表示编译时跳过测试环境

设置maven的环境参数：

export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512M"

编译源码：

build/mvn -Pyarn -Phadoop-2.6 -Dhadoop.version=2.6.0-cdh5.6.0 -Phive -Phive-thriftserver -DskipTests clean package

生成部署包：

./make-distribution.sh --name 2.6.0-cdh5.6.0 --tgz -Pyarn -Phadoop-provided -Phadoop-2.4 -Dhadoop.version=2.6.0-cdh5.6.0 -Phive -Phive-thriftserver

错误一：环境版本不对（有可能是maven ， jdk，scala）

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-enforcer-plugin:1.4.1:enforce (enforce-versions) on project spark-parent_2.10: Some Enforcer rules have failed. Look above for specific messages explaining why the rule failed. -> [Help 1]

http://www.cnblogs.com/qyf404/p/4829327.html

mvn validate 命令校验工程环境问题

错误二：maven插件问题

+ VERSION='[ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/NoPluginFoundForPrefixException'

编译后生成文件：

assembly/target/scala-2.10/spark-assembly-1.6.3-hadoop2.6.0.jar

examples/target/scala-2.10/spark-examples-1.6.3-hadoop2.6.0.jar

4、IDE导入spark源码

IDEA的安装下载后直接解压运行bin/idea.sh启动IDEA，需要安装scala插件，然后Import Project 选择maven找到我们的spark源码导入spark源码，选择导入spark的子项目界面，然后就是next finish等。

1）运行Master：

Spark master启动的入口 org.apache.spark.deploy.master.Master。如果出现下面的问题需要在spark core子项目中引入guava-14.0.1.jar包。

导入缺失依赖包：

Master运行成功：

SparkUI界面：http://ip:8080

2）运行Worker节点

org.apache.spark.deploy.worker.Worker --webui-port 8081 spark://192.168.1.9:7077

Worker启动成功：

最后Master和Worker启动完成后的SparkUI界面也出现了Worker

最后，Spark的源码阅读环境基本上准备完成，后面就可以进行DEBUG进行源码阅读和调试了，可以参考WordCount的例子：

http://blog.youkuaiyun.com/wangweislk/article/details/62046389