Spark1.6.2 源码编译

步骤1: 源码下载地址: http://spark.apache.org/downloads.html

下载1.6.2 版本源码 tar 包.

步骤二: 解压 tar 包, 进入,执行如下命令:

export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M-XX:ReservedCodeCacheSize=512m"
mvn -Pyarn -Dhadoop.version=2.6.4 -Dyarn.version=2.6.4 -DskipTests clean package

注意: 建议使用国内 阿里的 maven 仓库, 编译会快很多.具体配置参见

http://blog.youkuaiyun.com/nxcjh321/article/details/54599223