ZooKeeper

最新推荐文章于 2022-01-22 12:46:25 发布
最新推荐文章于 2022-01-22 12:46:25 发布
阅读量110 收藏
点赞数
分类专栏： hadoop 文章标签： hadoop
本文详细介绍了Hadoop2.2.0在64位系统上的部署过程，包括集群规划、软件安装、配置修改、环境变量设置、Zookeeper和Hadoop集群配置、免密码登录设置及启动步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。

注意：apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，
所以如果在64位的操作上安装hadoop-2.2.0就需要重新在64操作系统上重新编译
（建议第一次安装用32位的系统，我将编译好的64位的也上传到群共享里了，如果有兴趣的可以自己编译一下）


1.修改Linux主机名
2.修改IP
3.修改主机名和IP的映射关系
	######注意######如果你们公司是租用的服务器或是使用的云主机（如华为用主机、阿里云主机等）
	/etc/hosts里面要配置的是内网IP地址和主机名的映射关系	
4.关闭防火墙
5.ssh免登陆 
6.安装JDK，配置环境变量等

集群规划：
	主机名		IP				安装的软件					运行的进程
	itcast01	192.168.1.201	jdk、hadoop					NameNode、DFSZKFailoverController
	itcast02	192.168.1.202	jdk、hadoop					NameNode、DFSZKFailoverController
	itcast03	192.168.1.203	jdk、hadoop					ResourceManager
	itcast04	192.168.1.204	jdk、hadoop、zookeeper		DataNode、NodeManager、JournalNode、QuorumPeerMain
	itcast05	192.168.1.205	jdk、hadoop、zookeeper		DataNode、NodeManager、JournalNode、QuorumPeerMain
	itcast06	192.168.1.206	jdk、hadoop、zookeeper		DataNode、NodeManager、JournalNode、QuorumPeerMain
	
说明：
	在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。
	hadoop2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。在该方案中，主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode
	这里还配置了一个zookeeper集群，用于ZKFC（DFSZKFailoverController）故障转移，当Active NameNode挂掉了，会自动切换Standby NameNode为standby状态
	
安装步骤：
	1.安装配置zooekeeper集群
		1.1解压
			tar -zxvf zookeeper-3.4.5.tar.gz -C /itcast/
		1.2修改配置
			cd /itcast/zookeeper-3.4.5/conf/
			cp zoo_sample.cfg zoo.cfg
			vim zoo.cfg
			修改：dataDir=/itcast/zookeeper-3.4.5/tmp
			在最后添加：
			server.1=itcast04:2888:3888
			server.2=itcast05:2888:3888
			server.3=itcast06:2888:3888
			保存退出
			然后创建一个tmp文件夹
			mkdir /itcast/zookeeper-3.4.5/tmp
			再创建一个空文件
			touch /itcast/zookeeper-3.4.5/tmp/myid
			最后向该文件写入ID
			echo 1 > /itcast/zookeeper-3.4.5/tmp/myid
		1.3将配置好的zookeeper拷贝到其他节点(首先分别在itcast05、itcast06根目录下创建一个itcast目录：mkdir /itcast)
			scp -r /itcast/zookeeper-3.4.5/ itcast05:/itcast/
			scp -r /itcast/zookeeper-3.4.5/ itcast06:/itcast/
		
		注意：修改itcast05、itcast06对应/itcast/zookeeper-3.4.5/tmp/myid内容
		itcast05：
			echo 2 > /itcast/zookeeper-3.4.5/tmp/myid
		itcast06：
			echo 3 > /itcast/zookeeper-3.4.5/tmp/myid

2.安装配置hadoop集群
	2.1解压
		tar -zxvf hadoop-2.2.0.tar.gz -C /itcast/
	2.2配置HDFS（hadoop2.0所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下）
		#将hadoop添加到环境变量中
		vim /etc/profile
		export JAVA_HOME=/usr/java/jdk1.7.0_55
		export HADOOP_HOME=/itcast/hadoop-2.2.0
		export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
		
		#hadoop2.0的配置文件全部在$HADOOP_HOME/etc/hadoop下
		cd /itcast/hadoop-2.2.0/etc/hadoop
		
		2.2.1修改hadoo-env.sh
			export JAVA_HOME=/usr/java/jdk1.7.0_55
			
		2.2.2修改core-site.xml
			<configuration>
				<!-- 指定hdfs的nameservice为ns1 -->
				<property>
					<name>fs.defaultFS</name>
					<value>hdfs://ns1</value>
				</property>
				<!-- 指定hadoop临时目录 -->
				<property>
					<name>hadoop.tmp.dir</name>
					<value>/itcast/hadoop-2.2.0/tmp</value>
				</property>
				<!-- 指定zookeeper地址 -->
				<property>
					<name>ha.zookeeper.quorum</name>
					<value>itcast04:2181,itcast05:2181,itcast06:2181</value>
				</property>
			</configuration>
			
		2.2.3修改hdfs-site.xml
			<configuration>
				<!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->
				<property>
					<name>dfs.nameservices</name>
					<value>ns1</value>
				</property>
				<!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
				<property>
					<name>dfs.ha.namenodes.ns1</name>
					<value>nn1,nn2</value>
				</property>
				<!-- nn1的RPC通信地址 -->
				<property>
					<name>dfs.namenode.rpc-address.ns1.nn1</name>
					<value>itcast01:9000</value>
				</property>
				<!-- nn1的http通信地址 -->
				<property>
					<name>dfs.namenode.http-address.ns1.nn1</name>
					<value>itcast01:50070</value>
				</property>
				<!-- nn2的RPC通信地址 -->
				<property>
					<name>dfs.namenode.rpc-address.ns1.nn2</name>
					<value>itcast02:9000</value>
				</property>
				<!-- nn2的http通信地址 -->
				<property>
					<name>dfs.namenode.http-address.ns1.nn2</name>
					<value>itcast02:50070</value>
				</property>
				<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
				<property>
					<name>dfs.namenode.shared.edits.dir</name>
					<value>qjournal://itcast04:8485;itcast05:8485;itcast06:8485/ns1</value>
				</property>
				<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
				<property>
					<name>dfs.journalnode.edits.dir</name>
					<value>/itcast/hadoop-2.2.0/journal</value>
				</property>
				<!-- 开启NameNode失败自动切换 -->
				<property>
					<name>dfs.ha.automatic-failover.enabled</name>
					<value>true</value>
				</property>
				<!-- 配置失败自动切换实现方式 -->
				<property>
					<name>dfs.client.failover.proxy.provider.ns1</name>
					<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
				</property>
				<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
				<property>
					<name>dfs.ha.fencing.methods</name>
					<value>
						sshfence
						shell(/bin/true)
					</value>
				</property>
				<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
				<property>
					<name>dfs.ha.fencing.ssh.private-key-files</name>
					<value>/root/.ssh/id_rsa</value>
				</property>
				<!-- 配置sshfence隔离机制超时时间 -->
				<property>
					<name>dfs.ha.fencing.ssh.connect-timeout</name>
					<value>30000</value>
				</property>
			</configuration>
		
		2.2.4修改mapred-site.xml
			<configuration>
				<!-- 指定mr框架为yarn方式 -->
				<property>
					<name>mapreduce.framework.name</name>
					<value>yarn</value>
				</property>
			</configuration>	
		
		2.2.5修改yarn-site.xml
			<configuration>
				<!-- 指定resourcemanager地址 -->
				<property>
					<name>yarn.resourcemanager.hostname</name>
					<value>itcast03</value>
				</property>
				<!-- 指定nodemanager启动时加载server的方式为shuffle server -->
				<property>
					<name>yarn.nodemanager.aux-services</name>
					<value>mapreduce_shuffle</value>
				</property>
			</configuration>
		
			
		2.2.6修改slaves(slaves是指定子节点的位置，因为要在itcast01上启动HDFS、在itcast03启动yarn，所以itcast01上的slaves文件指定的是datanode的位置，itcast03上的slaves文件指定的是nodemanager的位置)
			itcast04
			itcast05
			itcast06

		2.2.7配置免密码登陆
			#首先要配置itcast01到itcast02、itcast03、itcast04、itcast05、itcast06的免密码登陆
			#在itcast01上生产一对钥匙
			ssh-keygen -t rsa
			#将公钥拷贝到其他节点，包括自己
			ssh-coyp-id itcast01
			ssh-coyp-id itcast02
			ssh-coyp-id itcast03
			ssh-coyp-id itcast04
			ssh-coyp-id itcast05
			ssh-coyp-id itcast06
			
			#配置itcast03到itcast04、itcast05、itcast06的免密码登陆
			#在itcast03上生产一对钥匙
			ssh-keygen -t rsa
			#将公钥拷贝到其他节点
			ssh-coyp-id itcast04
			ssh-coyp-id itcast05
			ssh-coyp-id itcast06
			
			#注意：两个namenode之间要配置ssh免密码登陆，别忘了配置itcast02到itcast01的免登陆
			在itcast02上生产一对钥匙
			ssh-keygen -t rsa
			ssh-coyp-id -i itcast01				
	
	2.4将配置好的hadoop拷贝到其他节点
		scp -r /itcast/ itcast02:/
		scp -r /itcast/ itcast03:/
		scp -r /itcast/hadoop-2.2.0/ root@itcast04:/itcast/
		scp -r /itcast/hadoop-2.2.0/ root@itcast05:/itcast/
		scp -r /itcast/hadoop-2.2.0/ root@itcast06:/itcast/
	
	###注意：严格按照下面的步骤
	2.5启动zookeeper集群（分别在itcast04、itcast05、itcast06上启动zk）
		cd /itcast/zookeeper-3.4.5/bin/
		./zkServer.sh start
		#查看状态：一个leader，两个follower
		./zkServer.sh status
		
	2.6启动journalnode（在itcast01上启动所有journalnode，注意：是调用的hadoop-daemons.sh这个脚本，注意是复数s的那个脚本）
		cd /itcast/hadoop-2.2.0
		sbin/hadoop-daemons.sh start journalnode
		#运行jps命令检验，itcast04、itcast05、itcast06上多了JournalNode进程
	
	2.7格式化HDFS
		#在itcast01上执行命令:
		hdfs namenode -format
		#格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/itcast/hadoop-2.2.0/tmp，然后将/itcast/hadoop-2.2.0/tmp拷贝到itcast02的/itcast/hadoop-2.2.0/下。
		scp -r tmp/ itcast02:/itcast/hadoop-2.2.0/
	
	2.8格式化ZK(在itcast01上执行即可)
		hdfs zkfc -formatZK
	
	2.9启动HDFS(在itcast01上执行)
		sbin/start-dfs.sh

	2.10启动YARN(#####注意#####：是在itcast03上执行start-yarn.sh，把namenode和resourcemanager分开是因为性能问题，因为他们都要占用大量资源，所以把他们分开了，他们分开了就要分别在不同的机器上启动)
		sbin/start-yarn.sh

到此，hadoop2.2.0配置完毕，可以统计浏览器访问:
	http://192.168.1.201:50070
	NameNode 'itcast01:9000' (active)
	http://192.168.1.202:50070
	NameNode 'itcast02:9000' (standby)

验证HDFS HA
	首先向hdfs上传一个文件
	hadoop fs -put /etc/profile /profile
	hadoop fs -ls /
	然后再kill掉active的NameNode
	kill -9 <pid of NN>
	通过浏览器访问：http://192.168.1.202:50070
	NameNode 'itcast02:9000' (active)
	这个时候itcast02上的NameNode变成了active
	在执行命令：
	hadoop fs -ls /
	-rw-r--r--   3 root supergroup       1926 2014-02-06 15:36 /profile
	刚才上传的文件依然存在！！！
	手动启动那个挂掉的NameNode
	sbin/hadoop-daemon.sh start namenode
	通过浏览器访问：http://192.168.1.201:50070
	NameNode 'itcast01:9000' (standby)

验证YARN：
	运行一下hadoop提供的demo中的WordCount程序：
	hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /profile /out

Zookeeper搭建配置（nameservice协调RM NameNode）
1.上传zk安装包

2.解压

3.配置（先在一台节点上配置）
	3.1添加一个zoo.cfg配置文件
	$ZOOKEEPER/conf
	mv zoo_sample.cfg zoo.cfg
	
3.2修改配置文件（zoo.cfg）
	dataDir=/itcast/zookeeper-3.4.5/data
	
	server.5=itcast05:2888:3888
	server.6=itcast06:2888:3888
	server.7=itcast07:2888:3888

3.3在（dataDir=/itcast/zookeeper-3.4.5/data）创建一个myid文件，里面内容是server.N中的N（server.2里面内容为2）
	echo "5" > myid

3.4将配置好的zk拷贝到其他节点 
	scp -r /itcast/zookeeper-3.4.5/ itcast06:/itcast/
	scp -r /itcast/zookeeper-3.4.5/ itcast07:/itcast/

3.5注意：在其他节点上一定要修改myid的内容
	在itcast06应该讲myid的内容改为6 （echo "6" > myid）
	在itcast07应该讲myid的内容改为7 （echo "7" > myid）

4.启动集群
分别启动zk
./zkServer.sh start

Hadoop集群中的WordCount运行解析
IqFlask的博客
10-04 274
主节点负责管理整个集群的文件系统和任务调度，而计算节点用于执行实际的计算任务。计算节点用于执行实际的计算任务。在本篇文章中，我们将详细解析如何在Hadoop集群中运行单词统计（WordCount）任务。单词统计是一个经典的示例程序，用于统计给定文本中单词的出现频率。WordCount是一种经典的示例程序，用于统计给定文本中单词出现的频率。通过以上步骤，我们可以在Hadoop集群中成功运行单词统计（WordCount）任务并查看结果。类用于将输入的文本进行分词，并将每个单词映射为键值对（单词, 1）。
Hadoop集群搭建及运行自带的wordcount程序
JAnedun的博客
07-18 806
slave1,slave2的配置与master1的所有配置均一致（除了静态ip不同），以下所有配置，三台主机都需配置。 1.搭建环境 在虚拟机中搭建hadoop集群。 软件 版本 操作系统 centOS Linux7、Windows 10 JDK jdk1.8.0_162 ...
Hadoop集群-WordCount运行详解.pdf
10-23
Hadoop集群-WordCount运行详解.pdf Hadoop,Hadoop集群,WordCount,pdf
Hadoop集群-WordCount运行详解
09-02
在linux环境下部署的Hadoop集群-WordCount运行详解。
Hadoop集群安装配置教程(Hadoop2.7.6_Ubuntu 32位)
xingyyn78的博客
07-15 1355
1.环境 本文使用两个节点作为集群，hadoop1主机作为主节点，hadoop2主机作为从节点。hadoop1通过Hadoop安装教程_伪分布式配置(Hadoop2.7.6/Ubuntu14.04 32位)，hadoop2为hadoop1虚拟机的复制。在一台电脑上运行两个虚拟机搭建集群。 2.配置IP 因为在一台主机上运行两台虚拟机，所以选择NAT模式，虚拟机默认通过DHCP服务器获取I...
hadoop wordcount 集群运行
cl723401的博客
04-25 352
wordcount程序参考 wordcount程序代码 修改主类 package cl.wordcount; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop...
zookeeper 3.8.4
05-17
**ZooKeeper 3.8.4：分布式协调服务详解** Apache ZooKeeper 是一个高度可靠的分布式协调服务，广泛应用于大数据、云计算以及微服务等领域的分布式系统中。Zookeeper 3.8.4 版本是该项目的最新稳定版本，提供了一...
zookeeper-3.6.2
最新发布
04-29
Apache ZooKeeper是一个开源的分布式协调服务，它为分布式应用提供了共性服务，如配置管理、命名、提供分布式同步以及提供组服务等。ZooKeeper的目标是将那些复杂且容易出错的分布式一致性服务封装起来，为用户提供...
docker的zookeeper镜像
10-25
将Zookeeper打包成Docker镜像，可以让用户更方便地在Docker容器中部署和运行Zookeeper服务。 在创建一个Docker的Zookeeper镜像之前，需要了解Docker镜像的基本概念，包括Dockerfile、构建过程、镜像层、标签、仓库...
zookeeper3.4.14文件压缩包
11-18
ZooKeeper是由Apache软件基金会开发的一个开源的分布式协调服务，它为分布式应用提供了高性能的协调服务。3.4.14是ZooKeeper的一个稳定版本，提供了许多改进和新特性。在Linux环境下，ZooKeeper的运行效果最佳，因为...
zookeeper 3.6.3 版本，适用于windows和linux环境
01-16
Apache ZooKeeper是一款开源的分布式协调服务，它为大型分布式计算提供一致性服务。ZooKeeper 3.6.3版本是在3.6系列中具有改进和新特性的更新，提供了更好的性能和管理功能。作为分布式应用程序的关键组件，...
基于Hadoop集群实现wordcount案例
weixin_44999258的博客
01-22 2179
之前是在linux云服务器上的hadoop本地模式实现了wordcount案例：linux云服务器实现wordcount案例 这次改用hadoop的集群模式实现此案例。 首先需要确保已完成了Pseudo-Distributed Operation伪分布式搭建，如果没有完成，可参考linux云服务器实现hadoop的Pseudo-Distributed Operation伪分布式搭建 搭建完成，并执行sbin/start-dfs.sh后，通过jps命令可查看已存在如下进程 31254 DataNode 3
Hadoop 2.7.1集群搭建
孤落
02-25 597
文章目录1配置hosts各个主机2 免密登录3 安装jdk4 安装hadoop5 测试hadoop集群 github：hadoop集群搭建 这里搭建hadoop集群，使用了三台电脑，分别是： 192.168.0.11 192.168.0.12 192.168.0.13 各个主机名分别是： master,salve1,salve2 1配置hosts各个主机 修改hosts文件： 127.0.0.1 ...
Hadoop运行示例WordCount
Horsleyli的博客
07-13 2389
一、运行Hadoop自带的hadoop-examples.jar报错 Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x 解决办法： 1.进入hdfs su - hdfs 2.查看目录权限 hdfs dfs -ls / 3.修改权限 hadoop fs -chmod 777 /user 执行结果： 首先创建input文件夹 hdfs dfs -mkdir -p /user/hdf
Hadoop2.2.0集群搭建
robbinBlog
06-04 714
hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。 注意：apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库， 所以如果在64位的操作上安装hadoop-2.2.0就需要重新在64操作系统上重新编译 （建议第一次安装用32位的系统，我将编译好的64位的也上传到群共享里了，如果有兴趣的可以
Hadoop集群（第6期）_WordCount运行详解
weixin_33709364的博客
05-16 1124
  1、MapReduce理论简介   1.1 MapReduce编程模型 　　MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。 　　在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是JobTrack...
Hadoop 2.2.0集群搭建
且行且码且思且娱
04-18 7844
一、环境说明 1、虚拟机平台：VMware10 2、Linux版本：ubuntu-12.04.3-desktop-i386 3、JDK：jdk1.7.0_51 4、Hadoop版本：2.2.0 5、集群节点：3个，分别是hadoopMaster，hadoopSlave1，hadoopSlave2        注明：文中fyzwjd是虚拟机用户名。 二、准备工作 1、安装虚拟机平台
hadoop集群搭建
热门推荐
aidayei的专栏
06-19 1万+
1.hadoop入门篇，包括软件下载及配置，并保证单机和伪分布模式可以运行通过，请看hadoop官网   2.集群搭建 笔者在hadoop集群搭建中，走了很多弯路，希望大家莫犯同样的错误 (a)ssh免密码登陆 刚开始ssh localhost 都需要密码，后来在masters机器上，将.ssh目录权限设为500，authroized_keys设为600才好 ubuntu目录权限修改
Hadoop集群平台搭建（2.4.1在32位ubuntu14.04上的配置）
weixin_30629977的博客
08-02 115
实习的内容是Hadoop应用开发，乘着周末搭建一个自己的hadoop平台。 总的来说是由3台虚拟机构成，均是ubuntu14.04，宿主机是win8 8G内存，因此搭建这个平台还是挺顺利的。 1.Vmware WorkStation软件，我使用的是VM11版本 2.建立3个虚拟机，这个简单 主要是要改名字，改名字的方法是：sudo gedit /etc/hostname 这里...
Zookeeper 3.4.9版本发布
标题和描述中提及的 "zookeeper-3.4.9.tar.gz" 实际上指向的是一个文件，而非描述性的内容，因此很难从中抽取知识点。然而，根据标题和标签中所指的 "Zookeeper" 及其版本 "3.4.9"，我们可以提炼出与 Zookeeper 相关...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值