安装cdh时启动spark一个坑

最新推荐文章于 2023-12-11 20:29:57 发布
最新推荐文章于 2023-12-11 20:29:57 发布
阅读量1.6k 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 大数据
原文链接：http://blog.51cto.com/quliren/2324417
本文介绍了解决CDH环境中Spark配置问题的方法，包括在Spark的conf目录下添加slaves文件以解决worker节点识别问题，以及修改spark-default.conf文件中的端口号避免与YARN的7337端口冲突，确保worker进程正常运行。

1、cdh在spark的conf中没有slaves文件
解决方法：在spark的conf目录下添加slaves文件，内容为worker节点名
2、yarn的端口和spark的worker端口冲突都是7337，导致worker进程不能正常工作
解决办法：在spark的conf目录下修改spark-default.conf文件，把里面的7337端口
改成其他的端口

转载于:https://blog.51cto.com/quliren/2324417

CDH大数据平台 所有 HiveServer2 角色必须在相同的主机上有一个 Spark 角色（如 Gateway）以接收 Spark 配置。在角色正常运行前，您必须部署 Spark 客户端配置
80后大叔爱学习
10-15 731
hive on spark修改计算引擎报错解决方法
配置本地parcels安装CDH 6.2.0
mtj66的博客，交流WX:SpringBreeze1104
04-28 2686
安装步骤参考: https://blog.youkuaiyun.com/wolf_333/article/details/89071203 https://blog.51cto.com/pizibaidu/2174297 卸载参考: https://blog.youkuaiyun.com/xiaozhaoshigedasb/article/details/85264889 文件路径如下所示 [roo...
CDH环境故障：linux jdk环境部署不规范导致部署spark2 gateway失败，spark2-submit无法执行
dinghua_xuexi的专栏
05-12 972
问题概述 在CDH中离线部署完spark2之后，执行spark2-submit命令测试部署的spark2是否可用，结果立即提示请安装spark gateway角色。说明我的spark2并未成功部署，或者它依赖的环境没有满足 问题详情 问题出现 如图，在spark2集群页面，选择【部署客户端配置操作】 一段时间后，部署崩溃！ 查看日志 查看崩溃的日志，spark2部署的每个客户端有2份日志，1份stout，1份sterr stout日志 sterr日...
CDH Gateway docker实战
我想静静
01-24 4136
将CDH gateway 安装到docker里面。
cloudera manager安装CDH版本的spark 无法连接解决办法
广志大兄弟的博客
05-28 5570
前提：在很久很久以前，搭了一套cloudera manger 的集群，全组件安装上之后，一直没有使用spark ，安装时出现了很多问题，这个权限不足，那个权限不足的，到最后只将用的那几个组件给调试好了，其他的一直都没管。最近使用了spark 发现7077无法连接。 这个都无法连接，你让我在这上面怎么跑我风骚帅气的代码，找找原因吧。毕竟是cloudera manger安装的，而且安装过程中还出现了一...
cdh hive on spark_CDH集群提交Spark作业原理及过程分析
weixin_39802784的博客
11-22 428
目的刚入门Spark，安装的是CDH自带的版本，版本号spark-core_2.11-2.4.0-cdh6.2.1，部署了cdh客户端(非集群节点)，本文主要以spark-shell为例子，对在cdh客户端上提交spark作业原理和过程进行简单分析，加深理解。spark-shell执行在CDH客户端启动spark-shell后，可以发下yarn集群上启动了一个作业，实际上，cdh-spa...
CDH6离线安装 -
04-01
CDH是一个包含Hadoop、YARN、HDFS、Spark等大数据处理工具的生态系统。它提供了丰富的数据处理工具，可以用来构建数据仓库、实时查询、流处理等复杂的大数据应用场景。 安装和配置CDH6集群是一个复杂的过程，它涉及...
12、CDH6.3.2安装
最新发布
贾文超的博客
12-11 1835
大数据平台安装hadoop
CDH在Centos 7离线安装
MOON
03-08 1万+
由于本人原来都是采用在线安装方式，使用公司港台服务器代理，速度还是很可观的。不过最近要求在Centos 7上离线安装，有点坑，网上的很多都是抄来抄去，安装到一半可能就走不下去，这里是本人亲测，遇到的问题都一一说明并且解决掉。这里趟了一遍，希望对读者有帮助。不说废话，进入主题： Cloudera官网给出三种安装方式，我们采用PathC，使用下载好的包进行安装。我这里只使用本地虚拟机来进行安装说明：
CDH 5.12.1 离线部署指南(附spark2.2.0集成指南)
古月慕南的代码世界
10-13 1万+
CDH 5.12.1离线部署指南(附spark2.2.0集成指南) 由于国内的网络原因，CDH在国内几乎无法实现在线安装，本文将介绍CDH离线安装方式，所有安装包下载后传输到内网安装，由于版本较新的原因，安装过程的坑还是很多的，在此记录一下。 一、       硬件说明 一共6台节点： master:32.31.104.159 slave1:32.31.104.161 slave2:3
Spark集群环境搭建——aboutyun
火麒马
02-13 538
基本思路是 1、Scala的安装， 2、Spark的安装与配置。 1、打开Xshell ,将scala 与spark的安装包上传上去。 2、用ll命令查看，已经显示在里面了 3、接下来就是Scala的安装，安装目录也是放到data目录下。 将Scala解压到 指定目录下 （是当前目录下用 ./ 的data 里面） ...
5. Spark源码解析之worker启动流程解析
L, there!
08-01 1014
启动Spark的Worker，不管是执行start-all.sh还是直接在Worker节点直接启动start-slaves.sh，都会进入start-slave.sh开始，而基本都不会设置参数，所以参数都是默认的--webui-port 8081 spark://host:7077。 脚本阶段跟启动Master步骤差不多，执行流程可以参照Master：4. Spark源码解析之Master启动流...
Spark的conf目录下没有slaves文件，spark3.1.2解压以后conf目录下没有slaves，spark找不到slaves怎么办，解决slaves问题
weixin_52450014的博客
10-28 5607
Spark的conf目录下没有slaves文件？spark3.1.2解压以后conf目录下没有slaves怎么办？spark找不到slaves怎么办，解决slaves问题 大数据的小伙伴晚上，今天在搭建spark集群的时候，发现我的我的spark解压以后/Spark/conf/目录下既然没有slaves文件，（我的spark是3.1.2版本的）我以为我是是不是解压的时候出错了。但是后面想想解压包也是官方下载不可能出错啊。 出现这个问题我就思考一下，发现conf目录下有一个workers.template。
安装CDH后启动spark-shell报错解决方案
jaysen1005的博客
02-28 2446
描述 安装好CDH、Coudera Manager之后，通过Coudera Manager安装所有自带的应用，包括hdfs、hive、yarn、spark、hbase等。利用远程客户端在安装有spark的节点上，通过spark-shell启动spark，满怀期待的启动spark，but，来了个晴天霹雳，报错了，报错了！错误信息如下： 19/02/28 13:45:06 ERROR spark....
CDH安装Spark2后一些问题
wangshuo2019的博客
11-13 695
** CDH安装Spark2后一些问题 ** 安装完成够，发现执行命令有问题 问题原因：最后找到原因是因为CM安装Spark不会去环境变量去找Java，需要将Java路径添加到CM配置文件 解决办法： 找到hadoop102、hadoop103、hadoop104三台机器的配置，配置java主目录 这里只是我遇到的一个问题，可能很片面，但希望有助于他人。 ...
为什么hadoop没有slaves配置文件？
热门推荐
若闲小阁
08-21 1万+
这个问题我昨天折腾了一晚上，上网也没查到什么，最后发现原来是hadoop3.0以后slaves更名为workers。。。。。，直接在workers填写子节点的主机名或ip地址即可。Duang~的一下，搞了一晚上的全分布式集群就跑起来了。。。。 有需要配置hadoop集群的同学可以参考我的这几篇博文，有我搭建hadoop客户端，伪分布式集群，全分布式集群的全过程，环境是CentOS+hadoop3...
利用CDH进行spark集群部署
victory0508的专栏
03-23 6840
1. 规划： master: brain01 worker: brain02、brain03、brain04 2. 准备工作： 2.1 安装Java 1.7 2.2 设置主机名，编辑/etc/hosts 2.3 关闭iptables:  service iptables stop chkconfig iptables off 2.4 关闭selinux,修改文件/etc/
Spark2.4.0-CDH6.3安装与错误解决过程
爱码士的博客
08-30 2619
安装软件 首先在CM6.3上安装Spark，这里不再说明。 环境准备 安装目录：/opt/cloudera/parcels/CDH/lib/spark，作为操作的主目录。 spark-env.sh的修改 此配置文件需要在末尾添加JAVA_HOME环境变量 export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera slaves的修改 这个文件需要添...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值