HDFS HA高可用完全分布式搭建步骤

HDFS HA 高可用集群搭建详细图文教程 HDFS HA 高可用搭建详细图文教程 阅读详情

集群规划:

NameNodeDataNodeZooKeeperZKFCJournalNode
node01√√√
node02√√√√√
node03√√√
node04√√

准备

  1. 在每个节点的/etc/hosts文件中配置对各个主机的映射
  2. 关闭防火墙chkconfig iptables off
  3. 每个节点安装JDK
  4. 配置node01到包括自己的每个节点免密登录,以及node02到node01的免密登录
  5. 每个节点安装ntp,然后进行时间同步
    可以参考https://blog.youkuaiyun.com/PowerBlogger/article/details/83002981

开始搭建

1. 搭建Zookeeper集群

1).官网下载zookeeper-3.4.10.tar.gz
2).将下载的压缩包上传到node02节点并解压(解压的目录并无强制要求,笔者解压到了和Hadoop目录下)
3).把conf目录下的zoo_sample.cfg名称改为zoo.cfg① mv zoo_sample.cfg zoo.cfg
4).修改zoo.cfg,把下面的内容加入配置文件

①	dataDir=/var/zfg/zookeeper
②	server.1=node02:2888:3888
③	server.2=node03:2888:3888
④	server.3=node04:2888:3888

5).根据dataDir配置的的路径创建目录,然后在目录下创建myid文件(node02、node03、node04都要创建)

mkdir -p /var/zfg/zookeeper
vim myid

6).在myid文件中写上配置文件中对应的id,比如node02中就是1,node03和node04依次累加
在这里插入图片描述
7).将配置好的zookeeper安装包拷贝到node03 node04

scp -r zookeeper-3.4.10 root@node03:`pwd`
scp -r zookeeper-3.4.10 root@node03:`pwd`
2. 搭建Hadoop集群

1). 修改hdfs-site.xml配置文件

<property>
 		    <name>dfs.nameservices</name>
 		    <value>mycluster</value>
</property>
<property>
  <name>dfs.ha.namenodes.mycluster</name>
  <value>nn1,nn2</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  <value>node01:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  <value>node02:8020</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn1</name>
  <value>node01:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn2</name>
  <value>node02:50070</value>
</property>
<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://node01:8485;node02:8485;node03:8485/mycluster</value>
</property>
<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/var/abc/hadoop/ha/jn</value>
</property>
<property>
  <name>dfs.client.failover.proxy.provider.mycluster</name>  	<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
</property>
<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/root/.ssh/id_rsa</value>
</property>
<property>
   <name>dfs.ha.automatic-failover.enabled</name>
   <value>true</value>
 </property>

2).修改core-site.xml配置文件

<property>
   <name>fs.defaultFS</name>
   <value>hdfs://mycluster</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/var/abc/hadoop/cluster</value>
</property>
<property>
   <name>ha.zookeeper.quorum</name>
   <value>node02:2181,node03:2181,node04:2181</value>
</property>

3). 修改slaves配置文件

node02 
node03 
node04

4).将配置好的HDFS安装包拷贝到node02 node03 node04

3.初始化启动Hadoop HA集群

1).启动Zookeeper集群,在每个Zookeeper节点(node02,node03,node04)的Zookeeper安装目录下的bin目录中执行zkServer.sh start,如果提示找不到命令,可以执行./zkServer.sh start
成功启动之后,使用zkServer.sh status命令可以查看到有一台为leader
在这里插入图片描述
其他两台为follower
在这里插入图片描述
2).在node01,node02,node03中开启journalnode
执行hadoop-daemon.sh start journalnode
成功启动后使用jps命令可以查看到开启的journalnode进程
在这里插入图片描述
3).初始化NameNode,在node01中执行

	hdfs namenode -format
	hadoop-daemon.sh start namenode

4).在node02中执行

	hdfs namenode  -bootstrapStandby

5).初始化zkfc

	hdfs zkfc -formatZK

6).关闭所有节点

	stop-dfs.sh

7).启动HDFS

	start-dfs.sh
问题解决

如果启动后发现有些进程没有正常启动,可以查看启动过程中是否有报错,然后再根据错误信息来解决,如果未能解决或者过程中没有报错最终未成功启动,可以尝试先关闭所有已开启的进程,然后把core-site.xml中配置的路径中的文件夹全部删除,然后再重新初始化,或者直接把所有节点的hadoop文件夹也删除之后再重新配置分发,然后再进行初始化

hadoop、zookeeper完全分布式、高可用环境搭建 完全分布式 集群准备 准备3台客户机 客户机要关闭防火墙、静态ip、主机映射、主机名称,主机名称分别为hadoop2,hadoop3,hadoop4 安装jdk,配置环境变量 配置ssh,免密登录 拷贝密钥的时候需要拷贝9次 配置时间同步 集群规划 hadoop2 hadoop3 hadoop4 HDFS NameNode DataNode DataNode SecondaryNameNode DataNode YARN NodeManager ResourceManager N 阅读详情

相关推荐

YF-S401水流量传感器在STM32上的精准计量实现

本文详细介绍了YF-S401水流量传感器与STM32微控制器的集成应用,实现精准水流计量。通过外部中断和外部时钟两种脉冲计数方案,结合硬件配置、软件滤波和校准技巧,确保高精度流量测量。适用于智能家居和工业自动化中的水控系统,提升系统稳定性和测量准确性。

rainy的博客 897

hadoop(3):搭建hadoop-HA

NameNode启动时,会去Zookpper里争抢一个锁,并设置一个通过事件机制设置回调事件,成功抢到的NameNode就是ActiveNameNode,其他的NameNode就是StandbyNameNode,如果ActiveNameNode故障,Zookpper会通过事件机制触发回调事件,通知ZKFC,告诉ZKFC需要转移ActiveNameNode,然后ZKFC会去看ActiveNameNode是否真的故障了,如果确认真的故障了,才会将StandbyNameNode变成ActiveNameNode。

weixin_45880765的博客 1131

Linux-VMware安装后没有虚拟网卡VMnet1和VMnet8(亲测有效,一步一步跟着绝对成功)

VMware-安装后没有虚拟网卡VMnet1和VMnet8 就这个破东西我昨天弄了一天,网上什么VMware卸载重装,用CCleaner清理注册表什么的操作我全用了,但是昨天就是弄不好,同样的操作我昨天试了无数遍一直觉得可能是 持续更新中… 文章参考学习地址:https://blog.youkuaiyun.com/qq_42445139/article/details/87872130 ...

杨的博客 8852

【Hadoop】HA高可用搭建保姆级教程(大二学长的万字笔记)

Hadoop HA高可用搭建保姆级教程,来自正在学习大数据导论的大二学长的万字笔记,干得不能再干的干货分享!

你不来,再美的天地,都狼藉 ~ 1万+

PyTorch+C3D实战:用UCF101数据集训练你的第一个视频动作识别模型(附完整代码)

本文详细介绍了如何使用PyTorch和C3D模型在UCF101数据集上构建视频动作识别系统。从环境配置、数据预处理到模型训练与优化,提供了完整的代码实战指南,帮助开发者快速掌握视频行为识别技术。文章特别强调了3D卷积核设计、混合精度训练等关键技术要点,并分享了模型部署优化经验。

weixin_29233857的博客 219

微信小程序推送微信服务号模板消息

微信小程序中发送微信服务号模板消息,无需用户手动确认订阅,无需绑定开放平台,无需使用UnionId。

qq_20751269的博客 1563

Hadoop-HA-3.3.3高可用集群搭建

hadoop最新版本的HA高可用集群搭建流程

qq_39604679的博客 4006

从建模到调参:基于Simulink的两轮差速机器人轨迹跟踪PID控制全流程解析

本文详细解析了基于Simulink的两轮差速机器人轨迹跟踪PID控制全流程。从运动学建模入手,对比了基于距离与基于位置偏差的两种控制策略,并重点阐述了高精度轨迹跟踪的控制器设计、Simulink仿真搭建及PID参数整定方法,为移动机器人运动控制提供了完整的仿真实践指南。

weixin_29169505的博客 314

HDFS 高可用的环境搭建

在开始Hadoop集群的HDFS高可用环境搭建之前,需要完成搭建工作。

m0_37658639的博客 3262

dxf-viewer 查看器

dxf-viewer SDK 的示例,它是一个基于 Three.js 和 Vue3 构建的基于 WebGL 的 BIM 模型查看器。它用于查看 DWG/DXF/PDF 文件。面积测量 - 角度测量 -标记。

qq_25547755的博客 867

NVP6324、NVP6188、NVP6158C的区别详解

根据搜索结果,NVP6324、NVP6188、NVP6158C是Nextchip公司推出的不同型号视频处理芯片,主要区别体现在应用场景、功能特性、接口支持及封装规格等方面。如需进一步技术细节(如寄存器配置或开发支持),可参考具体型号的规格书或联系Nextchip代理商。

小灰灰的博客 3009

HDFS部分:HDFS集群分布式HA高可用的搭建【包括安装JDK的步骤,免秘钥,时间同步,完全分布式搭建,搭建zookeeper等】

HDFS集群的搭建: 1.安装JDK 2.免秘钥 3.时间同步 4.完全分布式的搭建 5.搭建zookeeper 一.首先安装JDK:上传解压就行 注意解压的命令: rpm -i /software/file/linux-basic/jdk-7u67-linux-x64.rpm(rpm类型的文件解压) 复制将路径配置到/etc/profile路径下 完成之后:. /etc/pro...

wyqwilliam的博客 307

国科大学习资料--人工智能原理与算法-2020年期末考试题解析(学长整理)

国科大学习资料–人工智能原理与算法-2020年期末考试题解析 张文生老师主讲 试卷共有6道题,题目不难,希望大家能取得好的成绩。 3.9 传教士和野人问题。三个传教士和三个野人在河的一岸,有一条能载一个人或者两个人的船。请设法使所有人都渡到河的另一岸,要求在任何地方野人数都不能多于传教士的人数。这个问题在AI领域中很有名,是因为它是第一个从分析的观点探讨问题形式化的论文的主题(Amarel,1968)。 a. 请对该问题进行详细形式化,只描述确保该问题求解所必需的特性。画出完整的状态空间图。 b. 应用合适

无名何许人的博客 4789

搭建高可用HA

完全分布式系统: 完全分布式系统的hadoop是不能用于生产环境 为什么? 1: 单点故障:整个系统崩溃(如果NameNode挂掉,整个系统都会挂掉) 2: 内存不足:随着业务的越来越大,内存的需求肯定跟不上数据的增长(压力过大内存受限) 3: 启动时间 日志越来越大,启动的时间会越来越长 4: 业务隔离:如果其中一额内存占用较大,会影响其他的业务 解决方法: 配置高可用的分布式系统 解决单点故障...

TaiYangb的博客 355

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

Hadoop完全分布式高可用(HA)搭建

hadoop完全分布式高可用(HA)搭建 centos 7.01. HA图解2. HA文件配置2.1 HDFS HA2.1.1 配置core-site.xml2.1.2 配置hdfs-site.xml2.2 YARN HA2.2.1 mapred-env.sh和yarn-env.sh2.2.2 yarn-site.xml3. HA启动 承接上文Hadoop 完全分布式的搭建 准备阶段 zookee...

FantomeWork 455

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

Hadoop完全分布式HA集群搭建

Hadoop完全分布式HA集群搭建 写在前面的 文件配置: VMWare 15.5.0,ubuntu18.04.3,Xftp5,hadoop-2.7.1,jdk-8u231-linux-x64,Xshell6,Python-2.7.10 节点分配: 节点名称 NN1 NN2 DN1 DN2 DN3 namenode ✔ ✔ datanode ✔ ✔ ✔ resoursemanager ✔ ✔ nodemanager ✔ ✔ ✔ zookeeper

jqttqj的博客 498

Hadoop高可用集群搭建

高可用集群搭建prepare:1、Hadoop 完全分布式安装2、ZooKeeper 完全分布式环境安装配置HDFS-HA集群1、配置core-site.xml2、配置hdfs-site.xml3、启动HDFS—HA集群4、配置HDFS-HA自动故障转移 prepare: 1、Hadoop 完全分布式安装 2、ZooKeeper 完全分布式环境安装 解压安装zookeeper tar -zxvf zookeeper-3.4.6.tar.gz → mv zookeeper-3.4.6 zkpr 配置v

korry24的博客 160

HDFS高可用搭建

HDFS HA高可用集群部署

weixin_47260194的博客 1370

HDFS完全分布式搭建(HA搭建)

完全分布式搭建完全分布式HDFSHadoop HA搭建core-site.xmlhdfs-site.xml 完全分布式HDFS 配置java环境变量 rpm -ivh jdk-8u191-linux-x64.rpm 配置环境变量vim /etc/profile node1 node2 node3 node4 NameNode SecondaryNameNode DataNode-1 DataNode-2 DataNode-3 a、首先在四台服务器上都要执行:ssh-keyge

weixin_46373361的博客 338

Hadoop完全分布式安装(HA、Yarn、ZKFC、flumeGanglia、sqoop一步到位)

Hadoop完全分布式安装,一步到位

fengxiandada的博客 2859

Hadoop集群搭建 -------未完!!!!!!

前言: 1)Vmware网络模式介绍。参考:http://blog.youkuaiyun.com/collection4u/article/details/14127671 2)Hadoop部署模式有:本地模式(Local(或Standalone)Mode)、伪分布模式、完全分布式模式、HA完全分布式模式。 区分的依据是NameNode、DataNode、ResourceManager、NodeMana...

xiaozhu_you的博客 679

hadoop安装教程

hadoop安装集合教程 一、伪分布式系统搭建 hadoop-2.7 jdk-1.8 jdk安装 配置在环境变量配置/etc/profile $vim /etc/profile #add JAVA_HOME export JAVA_HOME.... 配置免密登录: 在做免密登录的时候需要集群中的所有节点之间互相之间进行免密,同时还需要自身和自身进行免密登录(master)节点 $ ssh-key...

weixin_30536513的博客 156

Hadoop大数据平台高可用的实现

官网:https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html 创建hadoop用户 useradd -u 1001 hadoop echo westos| passwd --stdin hadoop tar zxf hadoop-3.2.1.tar.gz tar zxf jdk-8u181-linux-x64.tar.gz ln -s jdk1.8.0_181/ java ln

qq_41582883的博客 1188

高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南

原文:http://my.oschina.net/wstone/blog/365010#OSC_h3_13 (WJW)高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南 [X] 安装环境: [X] 编译hadoop [1] 拷贝hadoop-2.2.0-src.tar.gz到hadoop84的/opt目录下,然后执行: [2] YUM安装依赖库: [3]...

weixin_34238633的博客 182

HA-hadoop集群 高可用

基于hadoop完全分布式基础上   1 克隆s200   为s206 配置: ---1 -----2 -----3   [/etc/sysconfig/network-scripts/ifcfg-ethxxxx]         ...         IPADDR=.. -----4 service network restart    2配置200   206完...

lucky的专栏 186

Hadoop高可用原理及环境搭建

一、说明   本次配置基于上一篇博客《Hadoop完全分布式搭建全过程》做补充,基于完全分布式做高可用搭建。。。。。。 二、原理   产生背景:Hadoop 1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题          HDFS存在的问题      NameNode单点故障,难以应用于在线场景 HA      NameNode压力过大,且内存受限,影扩...

weixin_33827965的博客 353
上一篇: HDFS完全分布式的搭建步骤
下一篇: 大数据课程-HDFS详解
PowerBlogger
博客等级 码龄8年 10粉丝 17原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值