spark编译 && 安装

1预编译版本

../spark-xx.xx.xx-bin-hadoopxx.xx.tgz

tar xvzf xx.tgz

mv xx /usr/soft配置环境变量

vi /etc/profile|evriment        $SPARK_HOME          PATH=$PATH:$SPARTK_HOME/bin

spark-shell local[n]          #n与服务器CPU的内核相同

     －－master IP               #主master

2源代码编译版本

下载 spark-1.6.1.tar 用maven安装spark-1.6.1.tar

export MAVEN_OPTS=“-Xmx512m -XX:MaxPemSize=128m”

mvn -Pyarn -Phadoop-2.6 -Dhadoop.version=2.6.4 -DskipTests clean package

mvn install:install-file  -Dfile='spark-streaming-mqtt_2.10-1.6.1.jar' -DgroupId='org.apache.spark' -DartifactId='spark-streaming-mqtt_2.10' -Dpackaging='jar' -Dversion='1.6.1'

export MAVEN_OPTS="-Xmx4g -XX:MaxPermSize=1024M -XX:ReservedCodeCacheSize=1024m"

nohup ./make-distribution.sh --tgz --skip-java-test -Dyarn.version=2.2.0 -Dhadoop.version=2.2.0 -Pyarn -Phive -Phive-thriftserver

－－－－－－

export MAVEN_OPTS="-Xmx4g -XX:MaxPermSize=1024M -XX:ReservedCodeCacheSize=1024m"

nohup ./make-distribution.sh --tgz --skip-java-test -Dyarn.version=2.6.4 -Dhadoop.version=2.6.4 -Pyarn -Phive -Phive-thriftserver

纯净版编译

使用-Pyarn或者-Pyarn-alpha编译出来的是一个完整的包，存放在./assembly/target/scala-2.10下，这个包包含了Spark编译得到的jar包，以及编译过程中所依赖的包。

如果你只想得到Spark的包，而不需要其依赖的Hadoop等，那么可以使用-Pbigtop-dist这个选项指定纯净版的profile（在./assembly/pom.xml中标识）。

编译得到Spark的jar包之后，你就可以调用其API进行二次开发啦！

参考

Building Spark - Spark 3.1.2 Documentation (apache.org)