使用Cloudera Manager部署Spark服务

最新推荐文章于 2021-01-25 09:09:17 发布
最新推荐文章于 2021-01-25 09:09:17 发布
阅读量476 收藏 1
点赞数
CC 4.0 BY-SA版权
文章标签： 大数据
原文链接：http://www.cnblogs.com/yinzhengjie/p/10928269.html
本文介绍了使用Cloudera Manager部署Spark服务的步骤，包括进入CM服务安装向导、选择spark服务、为其选择依赖环境、分配角色，采用默认配置，等待安装完成后，可在CM界面查看spark服务。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

　　　　　　　　　　　　使用Cloudera Manager部署Spark服务

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰

版权声明：原创作品，谢绝转载！否则将追究法律责任。

 

 

 

1>.点击添加服务进入CM服务安装向导

2>.选择需要安装的spark服务

3>.为spark选择一个依赖环境

4>.为spark分配角色 

5>.默认配置即可

6>.等待spark服务安装完成

 

7>.spark服务安装完毕

8>.在CM界面查看spark服务

  

转载于:https://www.cnblogs.com/yinzhengjie/p/10928269.html

ClouderaManager搭建Spark on yarn（spark 2.x）集群最详尽版
qq_20878845的博客
03-19 1940
0、组网（实验室资源有限，只能在同学电脑上安装虚拟机组）。 （1）买千兆以上路由器+六类以上网线+每台机器两块千兆网卡+4台物理机。 （2）用路由器连接集群机器，配置ip，路由器wan端，即后面配置机器时候的网关ip。（我个人配置成了10.10.10.1） （3）配置物理机网络。我是用的vmware虚拟机作为节点的，就以这样为例，先设置了物理机系统ip分别为10.10.10.10，10.10...
spark-使用cloudera manager部署的spark测试运行mllib的例子
lisery的博客
10-29 1528
1.测试cdh集群中spark是否正常运行 [root@cdh01 ~]# spark-submit --master local --class org.apache.spark.examples.SparkPi /opt/cloudera/parcels/CDH-5.11.1-1.cdh5.11.1.p0.4/lib/spark/lib/spark-examples.jar 10 18...
Cloudera Manager及CDH从5.4.8升级到5.12.1全过程&安装Spark2.2全过程
09-29
详细阐述升级的全过程及需要备份的目录与方法 Cloudera Manager及CDH从5.4.8升级到5.12.1全过程&安装Spark2.2全过程
cloudera manager5.14 手动安装spark2
qq_18629653的博客
11-07 486
准备好一个测试文件，随便添加些内容 上传到hdfs /user/spark/test 启动spark-shell bin/spark-shell --master yarn val countRDD = sc.textFile("hdfs://n1:8020/user/spark/test"); 读取hdfs中的文件到RDD中 val result = countRDD.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_...
Cloudera Management添加spark2服务
星空的风fly
10-20 3983
用Cloudera Management管理集群时， 有时候在我们已经搭建了cdh版的集群， 又要用到spark2服务，在yarn上跑实时任务，而cdh集群中cdh中不包含spark2服务，因此需要另外下载。 目录 一、下载spark2的parcel包 二、上传至服务器 三、添加spark服务 一、下载spark2的parcel包 1、去这里http://archive.cl...
cloudera manager的运行机制及目录
08-14
Cloudera Manager运行机制主要包括配置管理、服务部署、日志管理、软件升级和卸载等环节。配置管理方面，Cloudera Manager的Server端从数据库中读取配置信息，然后将其压缩成ZIP格式传输给Agent端，Agent端再将这些...
CLOUDERA-Manager-中文手册
11-12
- **集群安装**：Cloudera Manager简化了Hadoop集群的部署过程，使得运维人员可以快速、高效地设置和配置新集群，包括安装和升级各个组件，如Hadoop、Hive、Spark等。 - **集群配置**：对于已部署的集群，Cloudera...
ClouderaManager平台部署架构与规划
06-26
Cloudera Manager是一个企业级的部署工具，用于管理Apache Hadoop集群，以及包括Cloudera发行版（CDH）中包含的一系列大数据组件。在进行Cloudera Manager平台的部署架构与规划时，首先需要了解其软件体系结构。...
cloudera manager 5.16 spark版本_0785-基于CDP7.1.1的Spark3.0技术预览版本发布
weixin_30039755的博客
01-25 169
今天Cloudera正式宣布发布CDS3，基于Apache Spark 3.0 preview2 release，参考：https://spark.apache.org/news/spark-3.0.0-preview2.html​这是一个实验版本，建议用于测试或者技术预研，不建议在生产系统中使用。而且这个版本不受Cloudera Support支持。对于Spark3的新特性，可以参考文章《开源生...
ClouderaManager 管理手册 中文版
01-19
本文档包括ClouderaManager的管理功能、监控功能、诊断功能、集成功能以及高级功能的kerberos集成向导、多租户资源管理和各组件监控等
cloudera manager安装CDH版本的spark 无法连接解决办法
广志大兄弟的博客
05-28 5568
前提：在很久很久以前，搭了一套cloudera manger 的集群，全组件安装上之后，一直没有使用spark ，安装时出现了很多问题，这个权限不足，那个权限不足的，到最后只将用的那几个组件给调试好了，其他的一直都没管。最近使用了spark 发现7077无法连接。 这个都无法连接，你让我在这上面怎么跑我风骚帅气的代码，找找原因吧。毕竟是cloudera manger安装的，而且安装过程中还出现了一...
spark2.0 部署到clouderamanager5.7 以上
张伟的专栏
02-22 2158
https://www.cloudera.com/documentation/spark2/latest/topics/spark2_packaging.html#packaging
CentOS 6.5离线安装cloudera manager hadoop spark集群
tony的专栏
01-17 6967
centos 离线安装 cloudera manager Hadoop spark集群
让cloudera manager装的spark支持hql
xiao_jun_0820的专栏
03-27 7155
如何编译spark源码 的assembly来支持hive前面的文章已经介绍过，如果你是用cm装的搭建的集群： 第一步：在cm 中的spark service里指定gateway为你要使用spark命令行的节点。 第二步：将assembly jar上传到hdfs 第三步：在spark的服务范围中修改以下配置为你在hdfs上的assembly jar 第四步：spark
cloudera manager5.11.0部署spark2.2.0版本
12-23 689
csd包：http://archive.cloudera.com/spark2/csd/ parcel包：http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera1/ 注意： 1、需要对cm server重启下 2、对kafka、kudu的csd包放置到csd目录下，不需要对cm server重启 3、kafka0.10.2和sp
基于CDH5.4的Spark1.4.1下SparkR的部署
08-29 2339
[Author]: kwu --- 基于CDH5.4的Spark1.4.1下SparkR的部署，R与Spark的结合为数据分析提供高效的解决方案，Hadoop的中hdfs为数据分析提供分布式存储。本文介绍集成安装的步骤：
基于CDH5部署Spark记录
why361466788的博客
07-10 349
1、Scala 安装  http://www.scala-lang.org/files/archive/scala-2.10.3.tgz  # tar xvzf scala-2.10.3.tgz -C /usr/lib/  环境变量配置  export SCALA_HOME=/usr/lib/scala-2.10.3  export PATH=$SCALA_HOME/bin:$PAT...
CDH 5.14安装Spark2服务
bigdataprimary的博客
02-12 960
由于默认的Spark版本为1.6，开发任务需要Spark2所以记录一次Spark2的安装。 一、JDK1.8 集群的JDK版本升级，Spark2需要JDK1.8来支持 下载 JDK1.8 上传到/usr/share/jdk8文件夹下 每个节点都需要在相同的目录下配置JDK CDH配置中制定Java的目录             二、下载spark2 spa...
CentOS 7.1上Cloudera Manager 5.6的部署与故障预防指南
最后，使用`tar`命令解压Cloudera Manager安装包到目标目录，并运行必要的脚本以完成安装。安装过程中可能需要创建用户、安装组件和服务，以及配置相关的系统参数。 在整个安装过程中，要注意遵循官方文档的指导，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值