本文档详细记录了Spark 2.2.0的编译过程，包括前期准备、修改配置文件、解决依赖问题、应对内存不足的策略以及针对Scala版本的注意事项。在编译过程中，可能会遇到如Maven依赖解析错误、内存不足和Scala版本不匹配等问题，本文提供了相应的解决方案，帮助开发者顺利完成编译。
前期准备工作参考 http://blog.youkuaiyun.com/wjl7813/article/details/79157148
spark官方文档 编译参考 http://spark.apache.org/docs/2.2.0/building-spark.html
tar xf spark-2.2.0
tar xf spark-2.2.0.tgz
cd spark-2.2.0/dev/
修改 make-distribution.sh 文件 ， 内容如下
VERSION=2.2.0
SCALA_VERSION=2.11.11
SPARK_HADOOP_VERSION=2.6.0-cdh5.7.0
SPARK_HIVE=1
[hadoop@node1 dev]$ pwd
/home/hadoop/source/spark-2.2.0/dev
[hadoop@node1 dev]$ ./make-distribution.sh --name 2.6.0-cdh5.7.0 --tgz -Pyarn -Phadoop-2.6 -Phive -Phive-thriftserver -Dhadoop.version=2.6.0-cdh5.7.0
(1) 坑一 会报如下的错误
[ERROR] Failed to execute goal on project spark-launcher_2.11: Could not resolve dependencies for project org.apache.spark:spark-launcher_2.11:jar:2.2.0: Could not find artifact org.apache.hadoop:hadoop-client:jar:2.6.0-cdh5.7.0 in nexus-aliyun (http://maven.aliyun.com/nexus/content/groups/publ
最低0.47元/天 解锁文章
扫一扫
697
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
