CDH5.15安装Spark2.3服务

1、到CDH官网下载对应的spark的parcel包

http://archive.cloudera.com/spark2/csd/

jar包版本与parcels版本对应 http://archive.cloudera.com/spark2/parcels/latest/

以上均选择红框内的内容下载。
注意，下载对应版本的包，我的CentOS7，所以下载el7的包。

2、开始安装

2.1.安装前可以停掉集群和Cloudera Management Service，也可以不停，但是待会还是要停止重启的。

2.2.上传CSD包到每台服务器上的/opt/cloudera/csd目录，并且修改文件的用户和组。注意如果本目录下有其他的jar包，把删掉或者移到其他目录----cdn包放在/opt/cloudera/csd目录才能被识别

注意给jra包分组：chown -R cloudera-scm:cloudera-scm /opt/cloudera/

cd /opt/cloudera/csd
chgrp cloudera-scm SPARK2_ON_YARN-2.3.0.cloudera4.jar
chown cloudera-scm SPARK2_ON_YARN-2.3.0.cloudera4.jar

2.3.上传

• 上传3个文件到主节点master的/opt/cloudera/parcel-repo目录下，并且重新命名

  manifest.json
  SPARK2-2.3.0.cloudera4-1.cdh5.13.3.p0.611179-el6.parcel
  SPARK2-2.3.0.cloudera4-1.cdh5.13.3.p0.611179-el6.parcel.sha1
  

  mv SPARK2-2.3.0.cloudera4-1.cdh5.13.3.p0.611179-el6.parcel.sha1 SPARK2-2.3.0.cloudera4-1.cdh5.13.3.p0.611179-el6.parcel.sha
  

如果有其他的安装包，不用删除 ，但是如果本目录下有其他的重名文件比如manifest.json文件，把它重命名备份掉。

2.4.如果刚刚没有停掉CM和集群，现在将他们重启。

• 重启主节点cloudera-scm-server

  /opt/cm-5.15.0/etc/init.d/cloudera-scm-server restart
  

• 重启所有节点cloudera-scm-agent

  /opt/cm-5.15.0/etc/init.d/cloudera-scm-agent restart
  

3、分配并激活parcel

进入到主机->Parcel

左侧可以查看到我们的SPARK2




此时我们的准备工作就做完了

4、添加spark2服务

进入到进群页面集群->操作->添加服务

找到spark2

剩下的就是按照正常配置就行

5、spark2.3安装成功

如果没有将jdk1.7修改成jdk1.8则上述步骤中安装时会提示，jdk的问题。
安装成功后：
在cloudera manager中能看到spark2安装成功

我们到集群中用hdfs用户查看pyspark2

安装完成！