CDH5.16.1部署spark2.4(CDS)

CDH管理集群中带的默认的spark服务为1.x，想要给集群中安装或者升级至2.x思路同CDH集群部署时一样，默认服务的包都封装在parcel包中，以部署集群时的步骤，分配，解压，激活再添加spark服务即可。

1.下载需要的包

实际情况是现在的很多CDH集群都处在未开放公网的环境当中，可在本地下载然后上传至Linux上

wget http://archive.cloudera.com/spark2/csd/SPARK2_ON_YARN-2.4.0.cloudera2.jar
wget http://archive.cloudera.com/spark2/parcels/2.4.0.cloudera2/SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel
wget http://archive.cloudera.com/spark2/parcels/2.4.0.cloudera2/SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha1
wget http://archive.cloudera.com/spark2/parcels/2.4.0.cloudera2/manifest.json

2.创建目录，将下载好的包放至对应目录

mkdir /opt/cloudera/csd
mv SPARK2_ON_YARN-2.4.0.cloudera2.jar /opt/cloudera/csd

3.设置文件的拥有者以及权限

chown -R cloudera-scm:cloudera-scm /opt/cloudera/csd/SPARK2_ON_YARN-2.4.0.cloudera2.jar
chmod -R 644 /opt/cloudera/csd/SPARK2_ON_YARN-2.4.0.cloudera2.