Spark2.1.2编译支持cdh5.10.2

最新推荐文章于 2021-02-27 21:12:44 发布

荒野雄兵

最新推荐文章于 2021-02-27 21:12:44 发布

阅读量271

点赞数

分类专栏：大数据 Spark 文章标签： spark 编译 cdh

本文链接：https://blog.youkuaiyun.com/daerzei/article/details/84667041

版权

大数据同时被 2 个专栏收录

22 篇文章

订阅专栏

Spark

6 篇文章

订阅专栏

本文详细介绍如何在Centos6.5 64位环境下，使用JDK 1.8.0.65、Scala 2.12.4和Hadoop 2.6.0-cdh5.10.2，进行Spark 2.1.2源码的下载、配置、编译和打包。包括环境准备、Maven配置、执行权限设置、源码解压、pom.xml修改、Hadoop服务关闭及最终的编译命令。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

环境配置	值
操作系统	Centos6.5
位数	64位
JDK	1.8.0.65
Scala	2.12.4
Hadoop	2.6.0-cdh5.10.2
Spark	2.1.2

第一步：从Spark官网下载Spark源码

wget http://mirrors.hust.edu.cn/apache/spark/spark-2.1.2/spark-2.1.2.tgz

第二步：JDK、Scala、Hadoop安装配置好

第三步：配置Maven

略

第四步：增大Maven使用的内存

export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"

第五步：添加执行权限并解压

# 添加执行权限
chmod u+x spark-2.1.2.tgz

# 解压
tar -zxf spark-2.1.2.tgz -C .

第六步：

vim dev/make-distribution.sh

#  修改以下内容
VERSION=2.1.2
SCALA_VERSION=2.12.4
SPARK_HADOOP_VERSION=2.6.0-cdh5.10.2
SPARK_HIVE=1

第七步：修改pom.xml添加国内源和Cloudera源

cd ${SPARK_HOME}

vim pom.xml

# 在repositories标签下添加以下阿里云源和Cloudera源

第八步：关闭所有Hadoop服务

第九步：执行编译命令

cd dev

./make-distribution.sh --name custom-spark --tgz -Phadoop-2.6 -Dhadoop.version=2.6.0-cdh5.10.2 -Phive -Phive-thriftserver -Pyarn

注意一定要在make-distribution.sh所在所在的目录执行，不能在Spark的根目录执行
编译成功的界面：
Spark2.1.2编译支持cdh5.10.2_1

Spark2.1.2编译支持cdh5.10.2_2