HDFS-HA的配置-----手动Failover方式

最新推荐文章于 2024-06-15 21:33:43 发布

原创

最新推荐文章于 2024-06-15 21:33:43 发布 · 6.9k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #java

本文详细介绍了如何在Hadoop分布式文件系统（HDFS）中配置高可用性（HA），并重点讲解了手动Failover控制器的设置步骤，确保在节点故障时能够无缝切换，保障数据服务的连续性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

 转帖请注明来自本空间：http://blog.youkuaiyun.com/chenpingbupt 
 
 

 
 1、配置log的路径（可选） 

etc/hadoop/hadoop-env.sh
export HADOOP_LOG_DIR=/home/ziang/DfsDataDir/hdpcdh4/logs

export JAVA_HOME=/home/ziang/software/jdk1.7.0_05

log=$HADOOP_LOG_DIR/hadoop-$HADOOP_IDENT_STRING-$command.out

 
 2、配置log文件的名字，使其没有hostname字符串。（可选） 

sbin/hadoop-daemon.sh

export HADOOP_LOGFILE=hadoop-$HADOOP_IDENT_STRING-$command.log

 
 3、配置etc/hadoop/core-site.xml 

<property>

<name>fs.defaUltFS</name>

<value>hdfs://hdpcdh4</value>

</property>

 
  4、配置etc/hadoop/hdfs-site.xml

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

chenpingbupt

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

hadoop 2.6 源码解读之 DFSClient 中的 proxyInfo HA case 实现

zhixingheyi_tian的博客

04-18

514

在DFSClient 中 this.namenode = proxyInfo.getProxy(); proxyInfo 用于和NameNode通信的对象在HA模式下首先创建 failoverProxyProvider AbstractNNFailoverProxyProvider<T> failoverProxyProvider = creat...

HDFS脚本检测failover时，发送邮件预警

weixin_43975538的博客

08-24

274

首先看以下脚本所执行的内容 #!/bin/bash #定义空变量 NN1_HOSTNAME="" NN2_HOSTNAME="" NN1_SERVICEID="" NN2_SERVICEID="" NN1_SERVICESTATE="" NN2_SERVICESTATE="" #设置需要发送邮件的邮箱 EMAIL=1124009143@qq.com #配置hadoop命令的目录 CD...

1 条评论您还未登录，请先登录后发表或查看评论

CDH HDFS failover 配置

魂醉的一亩二分地

05-25

923

CDH默认的有一个(NN)namenode，一个(SNN)secondary namenode，但是这里要注意的是，SNN并不提供failover的能力也就是说NN挂了，SNN是不会接管服务的，只能从SNN恢复NN，然后启动NN。CDH也提供了，HDFS failover的能力，但是要依靠zookeeper服务。配置failover需要具备以下几点要求： 1.namenode和standby

CDH6 HDFS Failover Controller无法启动

wangkuangood3200的专栏

09-12

1655

CDH6 HDFS Failover Controller无法启动，报错： error zkfailoverController Unable to start failover controller. Parent zoned does not exist. Run with -formatZK flag to initialize ZooKeeper. 解决方案： 1、cd /...

一个HDFS Error

渴死的火烈鸟

06-11

219

ERROR: hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException: Bad connect ack with firstBadLink While running a job once I got the following exception 10/12/10 21:09:05 INFO h...

HDFS中ZKFailoverController的原理探究

张伟的专栏

07-07

1093

自动化failover的引入 HDFS中自动化的failover故障转移需要增加两个新的组件：一个是Zookeeper quorum（仲裁），另一个是ZKFailoverController进程（简称ZKFC）。 Apache Zookeeper是一个高可用的服务，对于小规模数据协调，通知客户端数据变化，监控客户端失败。自动failover的实现是基于ZK以下的作用： Failure detection 集群中的每个NameNode机器在ZK上保持持久化会话。如果机器崩溃，ZK会话过期，...

HDFS-HA工作机制

GabrielCP的博客

02-20

852

原理：通过双NameNode消除单点故障。 1.HDFS-HA工作要点 1.1.元数据管理方式需要改变内存中各自保存一份元数据； Edits日志只有Active状态的NameNode节点可以做写操作；(备份的那个不提供写操作–编辑日志不同步) 两个NameNode都可以读取Edits；共享的Edits放在一个共享存储中管理（qjournal和NFS两个主流实现–解决了编辑日志不同步问题）； 1...

【hadoop】HDFS-HA工作机制

SmallScorpion

09-07

819

一、HA概述 1）所谓HA（High Available），即高可用（7*24小时不中断服务）。 2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。 4）NameNode主要在以下两个方面影响HDFS集群： 1. NameNode机器发生意外，如...

HDFS-HA 手动模式

weixin_45417821的博客

11-11

651

文章目录环境准备规划集群配置 HDFS-HA 集群启动 HDFS-HA 集群问题提出环境准备（1）修改 IP （2）修改主机名及主机名和 IP 地址的映射（3）关闭防火墙（4）ssh 免密登录（5）安装 JDK，配置环境变量等规划集群 hadoop102 hadoop103 hadoop104 NameNode NameNode NameNode JournalNode JournalNode JournalNode DataNode DataNode DataNode

大数据技术之_07_Hadoop学习_HDFS_HA(高可用)_HA概述+HDFS-HA工作机制+HDFS-HA集群配置+YARN-HA配置+HDFS Federation(联邦) 架构设计

黑泽君

02-24

427

大数据技术之_07_Hadoop学习_HDFS_HA(高可用)_HA概述+HDFS-HA工作机制+HDFS-HA集群配置+YARN-HA配置+HDFS Federation(联邦) 架构设计

HDFS-HA 集群搭建 YARN-HA 集群的搭建配置 HDFS-HA 自动故障转移机制

csdnwindnorth的博客

09-06

966

HA概述 1.所谓HA（high available），即高可用（7*24小时不中断服务）。 2.实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 3.Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。 4.NameNode主要在以下两个方面影响HDFS集群 NameNode机器发生意外，如宕机，集群将无...

Hadoop HA高可用故障转移（hdfs+yarn）

qq_18453581的博客

01-03

1006

常用集群搭建脚本 xsync.sh 文件或文件夹同步 xcall.sh 在所有集群节点执行命令 xnode.sh 在非master节点执行命令将脚本放在/usr/bin/或创建软连接并授予执行权限 HDFS HA 配置文件 core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://mycluster</v..

hdfs及yarn的ha和failover

sheisarainbow的博客

06-10

330

配置HDFS-HA集群官方地址：http://hadoop.apache.org/ 在opt目录下创建一个ha文件夹 mkdir ha 将/opt/app/下的 hadoop-2.7.2拷贝到/opt/ha目录下 cp -r hadoop-2.7.2/ /opt/ha/ 配置hadoop-env.sh export JAVA_HOME=/opt/module/jdk1.8.0_144 配置core-site.xml <property> <name>fs.defaul

HDFS-HA的配置-----自动Failover

热门推荐

chenpingbupt的专栏

08-29

1万+

转帖请注明本空间地址：http://blog.youkuaiyun.com/chenpingbupt 1、概述在手动FailOver的基础上，自动Failover增加了两个东西：一个是ZooKeeper集群，一个是ZKFailoverController(简称：ZKFC) ZK集群：作为一个高可靠系统，能够为一小部分协同数据提供监控，将数据的更改随时反应给客户端。HD

hadoop2.6.0源码剖析-客户端(第二部分--DFSClient)下(HA代理)

weixin_39935887的博客

08-31

746

我们继续进入到org.apache.hadoop.hdfs.NameNodeProxies的函数 public static <T> ProxyAndInfo<T> createProxy(Configuration conf,URI nameNodeUri, Class<T> xface, AtomicBoolean fallbackToSimpleAuth...

hdfs的failover失败

qq_41357897的博客

06-21

590

经过查看日志，发现：上午9点23:06.260分 FATAL ZKFailoverController： Unable to start failover controller. Parent znode does not exist. Run with -formatZK flag to initialize ZooKeeper. zookeeper的节点没找到。进入/opt/cloude...

关于hadoop-2.6.0 HA模式下HDFS自动failover切换的一点经验

oneinmore的专栏

04-24

6048

以我的经验，杀死原来ACTIVE namenode上的NameNode进程，会成功自动切换；而采用down掉网卡（ifdown 命令）的方法，不一定能够成功切换。根据我的经验这主要是与fencing方法的设置有关。Hadoop提供的两种fencing方法是sshfence和shell，其中sshfence要求ssh登录到目标结点杀死NameNode进程，因此当仅仅配置fencing方法是sshf

【Flink】Flink 提交任务到yarn报错 proxy provider ConfiguredFailoverProxyProvider NetUtils.getSocketAddressS

九师兄

03-10

924

1.概述 Flink 提交任务到yarn报错 Couldn't create proxy provider class org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider NetUtils.getSocketAddressString(Ljava/net/InetSocketAddress;)Ljava/lang/String; 环境如下 yarn版本如下然后我的flink包内容如下 [root@xxx ru

java.lang.NoSuchMethodException:ha.ConfiguredFailoverProxyProvider.＜init＞问题排查分析和解决

weixin_41843527的博客

06-15

1559

Caused by: java.io.IOException: Couldn't create proxy provider class org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider

hdfs haadmin -transitionToActive nn1 --forcemanual 和 hdfs haadmin -failover 的区别