CDH5.14安装spark2

cdh5.14 默认自带的spark版本是1.6的，如果需要使用spark2，那么需要另外安装。官网上给出了CDH版本和spark2版本对应的说明以及离线安装包的地址，在安装时需要安装自己集群版本下载相应的spark2：
https://www.cloudera.com/documentation/spark2/latest/topics/spark2_requirements.html

1.下载安装包

下载4个文件

manifest.json
SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el6.parcel
SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el6.parcel.sha1
SPARK2_ON_YARN-2.4.0.cloudera2.jar

2. 上传安装包到指定目录

2.1、SPARK2_ON_YARN-2.4.0.cloudera2.jar 上传到/opt/cloudera/csd

2.2、另外三个文件上传到/opt/cloudera/parcel-repo,注意，可能manifest.json已存在，先将原来的重命名后缀加.bak

[root@cdh01 cloudera]# cd /opt/cloudera/csd
[root@cdh01 csd]# cp /root/soft/cdh5.14/spark2.4/SPARK2_ON_YARN-2.4.0.cloudera2.jar ./
[root@cdh01 cloudera]# cd /opt/cloudera/parcel-repo
[root@cdh01 parcel-repo]# mv manifest.json manifest.json.bak
[root@cdh01 parcel-repo]# cp /root/soft/cdh5.14/spark2.4/SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el6.parcel ./
[root@cdh01 parcel-repo]# cp /root/soft/cdh5.14/spark2.4/SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el6.parcel.sha1 ./SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el6.parcel.sha
[root@cdh01 parcel-repo]# cp /root/soft/cdh5.14/manifest.json ./

3. 重启集群和CM

3.1、在重启先先确认下在cm上有没有配置jdk路径，不是linux里面，是cm的web页面【主机】- 【所有主机】-【配置】-【高级】

3.2、重启

/opt/cm-5.14.0/etc/init.d/cloudera-scm-server restart
/opt/cm-5.14.0/etc/init.d/cloudera-scm-agent restart

4. 安装

4.1、登录cm web管理页面

4.2、【主机】-【Parcel】可以看到我们刚刚添加是spark2状态是已下载，点击分配， 然后分配完成后点击激活。

4.3、返回集群主界面，添加服务，选择spark2，即可安装

4.4、安装完可以在集群主界面看到已启动的spark2服务。

注.所有服务打问号是我将cm管理关了，笔记本资源不足。