hadoop anzhuang

本文介绍Zookeeper的基本概念及其在Hadoop集群中的应用价值,包括统一命名服务、配置信息管理和集群管理等功能。同时,提供了Zookeeper的单机模式和伪分布式安装教程。

1.6 分布式协调服务系统Zookeeper

1.6.1 Zookeeper简介

1.6.2 Zookeeper的安装运行


1.6.1 Zookeeper简介

想想一下,你的集群是一个由1000多台或者更多的节点组成的一个节点,某一天你要对其里面的机器节点进行配置项的修改,想象一下你该怎么做:你会不会分别登陆到每台机器上去修改?

当我们的集群达到一定规模后我们对它进行管理将是一件十分困难的事情,不过不用担心,Zookeeper就是一个高效的为开发和维护hadoop集群而产生的一个开源的管理工具,是hadoop的分布式程序的协调服务。Zookeeper提供一些通用的服务,如统一命名服务

,配置信息管理,分布式间的同步管理,集群管理等。有了Zookeeper你就不用为管理集群而犯愁了。

1.6.2 Zookeeper的安装运行

单机模式

单机模式的zookeeper的安装十分的简单,只需要下载对应的zookeeper安装包,我用的是zookeeper-3.4.3,并解压到对应的文件目录下

zookeeper配置环境变量,输入命令sudogedit /etc/profile,进去后将自己的环境变量添加进去,如

exportZOOKEEPER_HOME=/home/hadoop/hadoop/zookeeper-3.4.3

exportPATH=$PATH:$ZOOKEEPER_HOME/bin

保存并提交

source/etc/profile

在你执行启动脚本之前,还有几个基本的配置项需要注意一下,Zookeeper的配置文件在conf 目录下,这个目录下有zoo_sample.cfg log4j.properties,你需要做的就是将zoo_sample.cfg 改名为zoo.cfg,因为Zookeeper在启动时会找这个文件作为默认配置文件。下面详细介绍一下,这个配置文件中各个配置项的意义。

tickTime=2000

dataDir=/temp/zookeeper

clientPort=2181


· tickTime:这个时间是作为Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个tickTime 时间就会发送一个心跳。

· dataDir:顾名思义就是Zookeeper 保存数据的目录,默认情况下,Zookeeper将写数据的日志文件也保存在这个目录里。

· clientPort:这个端口就是客户端连接Zookeeper 服务器的端口,Zookeeper会监听这个端口,接受客户端的访问请求。



伪分布式安装

伪分布式的安装十分的简单,只要在conf/zoo.cfg配置文件末尾添加

server.1=127.0.0.1:2888:3888

就可以了。添加的配置中2888zookeeper服务之间的通信端口,3888zookeeper与其他应用程序之间通信端口。

手动创建数据存放目录(/tmp/zookeeper),然后在目录中创建一个叫做"myid"的文件,文件内容为“1”。此处的1与上面的1对应。

这样伪分布式的安装就成功了


### Hadoop 安装教程 #### 准备工作 为了成功安装Hadoop,需先确认已正确安装并配置好Java环境。可以通过`java -version`命令来验证当前系统的Java版本。 #### 下载Hadoop软件包 前往Apache官方镜像站点下载最新的稳定版Hadoop压缩文件。对于2024年的最新版本,建议选择3.x系列中的一个稳定发布版本[^1]。 #### 解压与部署 解压所下载的tar.gz格式的Hadoop压缩包到指定目录下,例如 `/usr/local/` 或其他适合的位置: ```bash tar zxvf hadoop-3.4.0.tar.gz -C /usr/local/ ``` #### 配置环境变量 编辑`.bashrc`或其他shell初始化脚本,在其中加入Hadoop的相关路径设置以便于全局调用: ```bash export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin source ~/.bashrc ``` #### 修改核心配置文件 进入Hadoop配置文件夹并对`hadoop-env.sh`进行必要的调整以适应本地环境需求,特别是要确保指定了正确的JAVA_HOME位置[^2]: ```bash vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh ``` 在该文件内找到并修改如下行指向实际安装的JDK路径: ```properties export JAVA_HOME=/path/to/java/home ``` #### 启动Hadoop集群 完成上述准备工作之后就可以尝试启动单节点伪分布式模式下的HDFS服务了: ```bash $HADOOP_HOME/sbin/start-dfs.sh ``` 通过执行特定命令可以查看Hadoop是否正常运行以及其具体版本信息: ```bash /usr/local/hadoop/bin/hadoop version ``` 此命令会显示详细的编译时间戳和其他元数据信息,证明Hadoop已被成功安装并能够正常使用。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值