spark on yarn 在HA nn1关闭的时候问题

最新推荐文章于 2025-05-23 19:11:05 发布
原创 最新推荐文章于 2025-05-23 19:11:05 发布 · 435 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

当NN1关闭时，Spark提交的任务无法执行并报错。据Spark官方文档显示，此问题已知且将很快解决。提交任务后需等待约1000秒，对实际操作影响较小。

当 nn1关闭的时候，spark提交任务不能执行报错如下：


spark官方文档说明了这个问题的存在，应该很快就解决了，我们提交任务后，需要等待500*2秒，没有太大影响

基于YARN HA集群的Spark HA集群
pysense的博客
12-08 1318
文章目录前言1、yarn HA模式的配置1.1 完整 yarn-site.xml配置1.2 mapred-site.xml的配置文件说明1.3 yarn HA的启动2、spark HA 集群及其基本测试2.1 修改spark配置2.2 启动spark集群3、spark on yarn3.1 spark集群跑在yarn上的两种方式3.2 测试spark on yarn 前言   在前面的《基于h...
Spark --最全的安装部署 local本地模式spark安装 spark--standalone集群安装 spark-HA高可用安装 spark on yarn安装
kismet
04-03 4312
安装部署之前，先来看看为什么要安装它这个版本！！！ 我们安装的是Spark2.2.0 目前企业中使用最多的稳定版 使用Apache版还是CDH版? 1.Apache版直接下载官方编译好的基于Apache Hadoop的Spark即可 2.自己下载Spark源码基于CDH Hadoop重新编译 因为CDH5.14版 Spark基于Spark1.6...
Spark On Yarn(HDFS HA)详细配置过程
笔尖的痕的专栏
09-07 7254
一、服务器分布及相关说明 1、服务器角色 2、Hadoop（HDFS HA）总体架构   二、基础环境部署 1、JDK安装 http://download.oracle.com/otn-pub/java/jdk/7u45-b18/jdk-7u45-linux-x64.tar.gz # tar xvzf jdk-7u45-linux-x64.ta
大数据（074）Spark【Spark on Yarn的HA搭建】
张--小涛涛
05-08 414
一、前言 我们在第七十节的时候，已经搭建起了Spark On Yarn，现在我们基于此再搭建Spark的HA。 二、步骤 2.1、修改每台服务器的配置文件/home/spark-1.3.1-bin-hadoop2.4/conf/spark-env.sh 新增如下配置： export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=n...
spark on yarn实战 +HA
a13568hki的博客
08-05 418
1 启用namenode HA 选择hdfs-service actions-enable namenode HA, 提前关闭hbase，nameservice ID:BFDcluster;如图所示： 2 选择主机 3 开始启动 4 在namenode创建checkpoint 登录到namenode主机，将namenode切换到安全模式，并创建checkpoint，如图： 5 配置组件并且初始化journalnodes 6 启动组件并初始化元数据 7 完成HA配置 8 YARN
【spark】【在YARN上运行Spark】【Running Spark on YARN】
wq6qeg88的博客
02-17 1333
通常情况下，这并不重要，因为Spark在开始另一个阶段之前完成了一个阶段，唯一可能有影响的情况是在作业服务器类型的场景中，所以需要记住这一点。例如，当运行一个YARN集群，其中运行多个Spark版本的应用程序的混合工作负载时，这可能很有帮助，因为给定版本的shuffle服务并不总是与其他版本的Spark兼容。Spark发行版，由于它已经包含了内置的Hadoop运行时，默认情况下，当作业提交到Hadoop Yarn集群时，为了防止jar冲突，它不会将Yarn的classpath填充到Spark中。
hadoop分布式集群&spark on yarn集群安装配置
zld_555的博客
09-28 987
hadoop&spark on yarn安装配置 一 环境准备 3台 linux版本centos7.6 hadoop版本3.1.2 spark版本2.4.4 1.1 修改IP vim /etc/sysconfig/network-scripts/ifcfg-ens32 DEVICE="ens32" ONBOOT="yes" IPADDR="192.168.22.232" PREFIX=...
Spark On Yarn 详细配置流程
热门推荐
王磊从此励志做稳健少年的博客
08-16 1万+
Spark On Yarn实配经历，吐血整理
Spark的安装配置(本地模式，standalone模式，standalone HA模式，on-yarn模式)
hailunw的专栏
06-25 456
1）Standalone模式 2）HA集群模式 3）Yarn模式
spark on yarn 完全分部署_Spark部署三种方式介绍：YARN模式、Standalone模式、HA模式...
weixin_39559015的博客
11-23 558
1.Yarn模式由谁来作为客户端提交作业给YARN?2.SPARK_HADOOP_VERSION=2.2.0 SPARK_YARN=true ./sbt/sbt assembly的作用是什么？3.Standalone 模式dist目录的作用是什么？4.recoveryDirectory最好是能够使用一个nfs的原因是什么？Spark的部署让人有点儿困惑，有些需要注意的事项，本来我已经装成功了YAR...
Spark on Yarn集群搭建手册
08-29
Spark on Yan集群搭建的详细过程，减少集群搭建的时间
spark-HA 高可用，yarn
秋雨ヾ的博客
12-27 357
1.配置spark-env.sh # 配置大哥;在二哥上面,MASTER_PORT=指的是自己 SPARK_MASTER_HOST=hadoop102 # 设置zookeepr,不能换行 SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop101:2181,...
Spark2.0 HA安装(spark on yarn 模式)完整版——Spark2.3.2
@羲凡—只为更好的活着
01-11 2248
@羲凡——只为了更好的活着 Spark2.3.2 HA安装(spark on yarn 模式) spark主要有四种运行模式local(本地运行)、standalone(Spark自带的资源管理框架)、yarn(将spark应用类似mr一样，提交到yarn上运行)、mesos(类似yarn的一种资源管理框架)，其对应的安装方法各不相同，本文主要介绍spark on yarn的安装。前提是默认你已经...
Spark集群配置 和 Spark HA 集群配置 以及 Spark on yarn 模式
hongchenshijie的博客
04-02 995
文章目录安装前说明配置spark1. 上传解压2. 配置环境变量3.修改spark 的 配置1. 修改 spark-env.sh 文件2. 在spark-env.sh文件中添加如下内容3. 修改slaves 文件4. 在slaves 文件中添加要工作的节点(IP地址)5. 分发到其它节点(hadoop01执行)启动 和 关闭 spark 集群查看web界面测试1. 创建words 文件(博主实在o...
0534-6.1-如何使用Cloudera Manager禁用YARN的HA
Hadoop_SC的博客
12-16 503
1 文档编写目的 前面Fayson写过《6.1-如何使用Cloudera Manager启用YARN的HA》。本篇文章主要讲述如何使用Cloudera Manager禁用YARN的HA。 测试环境 1.CM和CDH版本为6.1 2.Redhat7.4 3.拥有Cloudera Manager的管理员账号 4.集群已启用Kerberos 2 禁用YARN HA 1.使用管理员用户登录Cloude...
hadoop离线day07--Hadoop YARN、HA机制
weixin_54527017的博客
06-01 1113
hadoop离线day07--Hadoop YARN、HA机制 今日课程内容大纲 #HDFS 安全模式 #Hadoop集群动态扩容与缩容 运维 #Hadoop YARN 介绍：集群资源管理 任务调度 3大组件 架构 程序在yarn运行流程：以mr程序提交为例 yarn调度器 核心调度策略（算法） Fair调度：多租户资源隔离问题 运维 #Hadoop HA集群 高可用概念 持续可用 一直可用 解决单点故障.
Spark on YARN 部署搭建详细图文教程
GG Bond 的博客
09-15 1万+
Spark on YARN 部署搭建详细图文教程
Spark on Yarn 高可用模式部署流程
xhaoDream的博客
05-23 1289
本文介绍了如何配置Spark和Yarn的高可用（HA）环境，以确保在大规模数据处理中避免单点故障。
spark on yarn报错READ is not supported in state standby
最新发布
09-20
在spark on yarn环境下，“Operation category READ is not supported in state standby”错误通常是由于Hadoop的standby模式不允许read操作导致的。以下是一些可能的解决办法： ### 自动尝试可用NameNode spark从hadoop配置中得到nn1、nn2两个NameNode，会一个个尝试，直到找到可用的。也就是说，如果第一次尝试的恰好是standby节点，那么就会显示该错误信息，但并不会影响它继续尝试到正常的NameNode节点，这种情况一般无需额外处理，等待其自动找到可用节点即可[^3]。 ### 处理两个NameNode均为Standby状态 若通过`http://namenode:50070/dfshealth.html#tab-overview`和`http://datanode01:50070/dfshealth.html#tab-overview`发现两个NameNode都是Standby，可执行以下操作： ```bash zkcli.sh ls / rmr /hadoop-ha hdfs zkfc –formatZK ``` 完成上述操作后，集群即可正常使用。测试高可用时，可以使用`kill –9 pid`（active NameNode 的pid）命令，之后会发现原来Standby的NameNode已成为active状态[^4]。 ### 手动切换NameNode状态 若想让集群保持自动切换，可采取另外一种方法：先kill掉一个节点上的NameNode进程，使另一个节点的状态由standby变为active，再将被kill节点的NameNode进程启动，此时该节点的状态为standby[^5]。 ### 修改配置使用NameNode逻辑名称 Hive连接HDFS时，若配置的是具体的NameNode地址，而Hadoop集群使用的是HA会出现主备切换问题。解决方案是Hive元数据配置使用NameNode的逻辑名称而不是具体的主机名 [^4]。 ### 确保进程正常启动 启动集群时，使用`start-dfs.sh`和`start-yarn.sh`之后，相关的进程会自动被启动，包括两个NameNode进程、zkfc、journal等，不需要手动启动。但要注意，standby的NameNode的ResourceManager进程可能没有自动启动，需要手动处理[^4]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值