一、简介
自己搭的CDH5.14.7,Centos6.10 默认安装Spark1.6,JDK1.7
CDH5.14.7 升级JDK,1.7===>1.8
Spark1.6===>2.3
官网安装和升级:
CDH给出的解决方案
二、准备
- 下载所需要的安装包
SPRK2_ON_YARN-2.3.0连接
SPARK2_ON_YARN-2.3.0.cloudera3.jar
parcel连接
下载内容:
SPARK2-2.3.0.cloudera3-1.cdh5.13.3.p0.458809-el6.parcel
SPARK2-2.3.0.cloudera3-1.cdh5.13.3.p0.458809-el6.parcel.sha1
manifest.json
注意:选择相对应的系统及版本,这里不做说明。
三、安装步骤
- 上传CSD包到CM(主节点) /opt/cloudera/csd目录下
SPARK2_ON_YARN-2.3.0.cloudera3.jar - 上传parcel的3个包到CM /opt/cloudera/parcel-repo/目录下
SPARK2-2.3.0.cloudera3-1.cdh5.13.3.p0.458809-el6.parcel
SPARK2-2.3.0.cloudera3-1.cdh5.13.3.p0.458809-el6.parcel.sha1
man

本文档详细介绍了如何将CDH 5.14.7上的JDK1.7升级到1.8,并将Spark1.6升级到2.3的过程。包括准备阶段,如下载所需安装包,安装步骤,如配置JAVA_HOME,通过CM管理页面下载和激活Parcel,以及安装后测试Spark2-shell并解决可能出现的配置问题。
最低0.47元/天 解锁文章
2783

被折叠的 条评论
为什么被折叠?



