CDH 5.14安装Spark2服务

本文详细介绍如何在集群上安装并配置Spark2,包括升级JDK至1.8,下载Spark2.3版本,更新Cloudera Service Desk配置,以及重启集群和服务。适合需要从Spark1.6升级至Spark2的开发者。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

由于默认的Spark版本为1.6,开发任务需要Spark2所以记录一次Spark2的安装。

一、JDK1.8

  1. 集群的JDK版本升级,Spark2需要JDK1.8来支持
    1. 下载 JDK1.8
    2. 上传到/usr/share/jdk8文件夹下
    3. 每个节点都需要在相同的目录下配置JDK
    4. CDH配置中制定Java的目录
    5. 主机-->配置-->高级

 

 

 

 

 

 

二、下载spark2

  1. spark2.3下载
  2. 可以手动下载后上传到parcels,也可以直接远程下载
  3. 更改spark,将上面的网址写到spark下替换原有默认网址
  4. 保存更改后会发现有新的spark2出现,点击远程下载
  5. 下载完成后分发
  6. 分发结束后激活

三、CSD配置

  1. http://archive.cloudera.com/spark2/csd/

     

  2. 下载匹配版本上传到cloudera的安装目录下csd目录下

  3. 更改权限

    chown cloudera-scm:cloudera-scm SPARK2_ON_YARN-2.3.0.cloudera3.jar

     

  4. 重启集群

四、重启集群,添加Spark2的服务

五、分配主机等不再赘述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值