CDH上再安装其他版本的Spark客户端

假设CDH上已经安装了Spark1.6.0和Spark2.4.0，用spark-shell和spark2-shell可以分别调用两个版本的Spark。现在需要安装第三个版本的Spark客户端，这里讲述这种场景下再安装一个1.6.3版本的Spark客户端。

场景和目标

• CDH上已经安装了Spark1.6.0和Spark2.4.0
• CDH配置了lzo压缩
• 在CDH的某个节点上新装一个Spark1.6.3客户端
• 新装的Spark1.6.3客户端需要能访问CDH的HDFS
• 新装的Spark1.6.3客户端需要能提交任务给CDH的YARN
• 新装的Spark1.6.3客户端需要能访问CDH的Hive仓库
• 不能影响原来CDH的Spark1.6.0和Spark2.4.0的使用

下载安装包

下载apache官网安装包
http://archive.apache.org/dist/spark/spark-1.6.3/spark-1.6.3-bin-hadoop2.6.tgz

安装Spark客户端

解压赋权

tar -zxf spark-1.6.3-bin-hadoop2.6.tgz -C /opt
sudo chown -R root:root /opt/spark-1.6.3-bin-hadoop2.6

配置Spark

cd /opt/spark-1.6.3-bin-hadoop2.6/conf
touch spark-env.sh
chmod