hadoop、zookeeper完全分布式、高可用环境搭建

最新推荐文章于 2025-08-18 15:50:32 发布
原创 最新推荐文章于 2025-08-18 15:50:32 发布 · 396 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了如何搭建Hadoop和Zookeeper的完全分布式及高可用环境，包括集群准备、安装配置、启动服务以及验证高可用性。主要步骤包括：集群规划，安装JDK和配置SSH，配置HDFS-HA和YARN-HA，以及启动和验证整个集群的正常运行。

目录

完全分布式

集群准备

准备3台客户机

客户机要关闭防火墙

stop firewalled

配置静态ip

vi /etc/sysconfig/network-scripts/ifcfg-eno16777736 
-----------------------------------------------------
TYPE=Ethernet
BOOTPROTO=none
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
NAME=eno16777736
UUID=f19fae49-46da-4b52-b704-6e1ec4c0470e
ONBOOT=yes
HWADDR=00:0C:29:EC:14:1F
IPADDR0=192.168.191.101   // ip地址
PREFIX0=24
GATEWAY0=192.168.191.2
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
DNS1=114.114.114.114
DNS2=8.8.8.8

主机映射

vi /etc/hosts
-----------------------------------------------------
192.168.191.101 hadoop1
192.168.191.102 hadoop2
192.168.191.103 hadoop3

主机名称

hostnamectl set-hostname hadoop1
hostnamectl set-hostname hadoop2
hostnamectl set-hostname hadoop3

主机名称分别为hadoop2，hadoop3，hadoop4

安装jdk，配置环境变量

# 解压  -C表示解压到指定目录
tar zxvf jdk-8u171-linux-x64.tar.gz -C /opt/soft/

#配置环境变量
vi /etc/profile

# JAVA_HOME
export JAVA_HOME=/opt/soft/jdk1.8.0_251
export PATH=$JAVA_HOME/bin:$PATH
#刷新环境变量
source /etc/profile

#验证
java -version
java version "1.8.0_251"
Java(TM) SE Runtime Environment (build 1.8.0_171-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.171-b11, mixed mode)

配置ssh，免密登录

拷贝密钥的时候需要拷贝9次

ssh-keygen -t rsa -P '' 
#3次回车
#拷贝密钥
ssh-copy-id hadoop1
ssh-copy-id hadoop2
ssh-copy-id hadoop3

配置时间同步

安装ntp【hadoop2】

rpm -qa|grep ntp
yum -y install ntp

vi /etc/ntp.conf
-----------------------
# 修改1（设置本地网络上的主机不受限制。）
#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap为
restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
# 修改2（设置为不采用公共的服务器）
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst为
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
# 添加3（添加默认的一个内部时钟数据，使用它为局域网用户提供服务。）
server 127.127.1.0
fudge 127.127.1.0 stratum 10

修改/etc/sysconfig/ntpd

vim /etc/sysconfig/ntpd
-----------------------
# 增加内容如下（让硬件时间与系统时间一起同步）
SYNC_HWCLOCK=yes

重新启动ntpd

service ntpd status
service ntpd start
chkconfig ntpd on

其他机器配置

crontab -e
----------------
*/10 * * * * /usr/sbin/ntpdate hadoop2

集群规划

hadoop2 hadoop3 hadoop4
HDFS NameNode DataNode DataNode SecondaryNameNode DataNode
YARN NodeManager ResourceManager NodeManager NodeManager

安装hadoop

Hadoop 的安装模式分为3种：单机（本地）模式，伪分布式，完全分布式（集群模式）

本地模式安装

# 解压
tar zxf hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt/soft/
# 环境变量
vi /etc/profile
---------------------------
# hadoop
export HADOOP_HOME=/opt/soft/hadoop-2.6.0-cdh5.14.2
export PATH=$HADOOP_HOME/bin:$PATH
---------------------------------
source /etc/profile
# 测试
hadoop

伪分布式搭建

修改HDFS配置文件

##### etc/hadoop/hadoop-env.sh
export JAVA_HOME=/opt/soft/jdk1.8.0_251

#### etc/hadoop/core-site.xml
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop1:9000</value>
</property>

##### etc/hadoop/hdfs-site.xml
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

##### etc/hadoop/slaves
hadoop1

#### 格式化文件系统
bin/hdfs namenode -format

#### 启动HDFS
sbin/start-dfs.sh

#### 验证是否成功
jps
20896 Jps
20787 SecondaryNameNode
20521 NameNode
20638 DataNode

#### 修改Yarn配置
####### mapred-site.xml
cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
--------------------------
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

####### yarn-site.xml
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

#### 启动Yarn
sbin/start-yarn.sh

#### 查看jps进程
jps
22304 ResourceManager
21989 DataNode
22389 NodeManager
21868 NameNode
22143 SecondaryNameNode
22703 Jps

完全分布式修改配置文件

hadoop-env.sh

export JAVA_HOME=/opt/soft/jdk1.8.0_251

core-site.xml

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://hadoop1:9000</value>
	</property>
最低0.47元/天 解锁文章
GodXuzzZ
关注
Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive 完全分布式高可用集群搭建(保姆级超详细含图文) 附安装包网盘下载
Mr.L-OAM的博客
07-05 2万+
Hadoop+Spark+Flink+Zookeeper+Kafka+Hbase+Hive完全分布式高可用集群搭建 Hadoop高可用集群搭建 Spark高可用集群搭建 Flink高可用集群搭建 Zookeeper高可用集群搭建 Kafka高可用集群搭建 Hbase高可用集群搭建 Hive高可用集群搭建 mysql搭建 jdk部署 大数据集群环境搭建
Hadoop3.2.2完全分布式集群环境搭建（一）
羽的博客
06-03 1118
超详细的hadoop生产环境的配置。 参考文章：http://hadoop.apache.org/docs/r1.0.4/cn/cluster_setup.html
安装 JDK 和 Zookeeper完全分布式
qq_61604164的博客
11-09 2653
Hadoop 高可用（HA） 安装 JDK 和 Zookeeper完全分布式
zookeeper高可用配置
congcilikai的博客
10-09 1647
场景一 1 场景二 2 一、 zookeeper是什么 2 二、 zookeeper提供了什么 3 1、 文件系统 3 2、 通知机制 4 三、 我们能用zookeeper做什么 4 1、 命名服务 4 2、 配置管理 4 3、 集群管理 4 四、 分布式与数据复制 6 五、 数据一致性与paxos算法 7 六、 Zookeeper的基本概念 8
Zookeeper 高可用性设计解析
最新发布
我是Java程序员廖志伟，感谢朋友们的支持！不定期贡献一篇高品质、过万文字、图文并茂且附有视频解说、满载代码示例注释的良心之作，坚决杜绝粗制乱造。
08-18 354
在分布式系统中，Zookeeper 作为一种高性能的协调服务，其稳定性和可靠性至关重要。想象一个场景，一个大型电商平台在高峰时段，其分布式服务集群需要频繁地读写配置信息、进行分布式锁操作以及维护服务状态。如果 Zookeeper 服务出现故障，可能会导致整个服务集群陷入瘫痪，交易中断，客户体验严重受损。因此，为了确保 Zookeeper 在分布式环境中的高可用性，我们需要深入了解其高可用性设计。介绍 Zookeeper 知识点之高可用性设计的重要性在于，它直接关系到整个分布式系统的稳定性和可靠性。
完全分布式hadoop,zookeeper,hbase
2302_81011350的博客
12-25 539
- hbase存放数据目录 ，默认值${hbase.tmp.dir}/hbase-->--ns1为hdfs-site.xml中dfs.nameservices的值。-- 是否分布式部署 -->-- 端口要和Hadoop的fs.defaultFS端口一致-->
hadoop2.6完全分布式安装zookeeper3.4.6
记录成长的点点滴滴
07-28 2170
原创文章，转载请注明： 转载自工学1号馆 1、下载解压Zookeeper3.4.6 hadoop@master:~/opt$ tar -zxvf zookeeper-3.4.6.tar.gz 2、Zookeeper环境变量的配置 hadoop@master:~$ vim ~/.bashrc # set zookeeper environment
精选资源
Hadoop3.1.1高可用完全分布式环境搭建
01-20
学习大数据技术依赖于大数据环境,搭建一个大数据环境是学习大数据很重要的一部分,话不多说,现在我们来搭建一个hadoop3.1.1高可用完全分布式环境 本环境我们用到的软件版本 cetos7,zookeeper-3.4.13.tar.gz,jdk-8u191...
高可用的分布式管理与协调框架ZooKeeper
堡望的博客
03-09 367
什么是zookeeper？ zookeeper是一个高效的分布式协调服务，用于暴露一些公用服务（如命名、配置管理、同步控制、群组服务）。 zookeeper原理？ 基于ZAB（原子消息广播协议）的paxos算法，能够很好地保证分布式环境中数据的一致性。 应用场景 配置管理（如机器的配置列表、运行时的 开关配置、数据库配置信息） 集群管理 发布与订阅 数据库切换 分布式日志的收集 分布式锁、队列管......
高并发高可用之Zookeeper
Ycy的博客
05-11 1708
集群 使用主从复制集群方式，主节点读写操作，从节只进行读操作。 zookeeper有自我修复功能，本身自带高可用。
高可用ZooKeeper集群部署
weixin_64420247的博客
09-07 1256
高可用ZooKeeper集群部署
Zookeeper的高可用性与容错机制
AI天才研究院
01-21 1101
1.背景介绍 1. 背景介绍 Apache Zookeeper是一个开源的分布式协调服务，用于构建分布式应用程序。它提供了一种可靠的、高性能的方式来管理分布式应用程序的配置、同步数据和提供原子性操作。Zookeeper的高可用性和容错机制是其核心特性之一，使得它在分布式环境中具有广泛的应用。 在分布式系统中，节点的故障和网络分区是常见的问题。为了确保系统的可用性和容错性，需要有效地处理这些问...
Zookeeper实现Hadoop高可用集群
cnzzs的博客
10-08 1367
一、zookeeper概述ZooKeeper概念: Zookeeper是一个分布式协调服务的开源框架。本质上是一个分布式的小文件存储系统ZooKeeper作用: 主要用来解决分布式集群中应用系统的一致性问题。ZooKeeper结构: 采用树形层次结构，ZooKeeper树中的每个节点被称为—Znode。且树中的每个节点可以...
基于Zookeeper实现高可用架构
lee_nacl的博客
11-24 1399
基于Zookeeper实现高可用架构
Zookeeper高可用集群搭建
weixin_41904935的博客
04-18 1902
Zookeeper集群搭建 1.准备工作 服务器 服务器类型 需要安装的组件 需要安装的组件 Zookeeper服务器1 CentOS7 (64 位) 192.168.85.136 JAVA JDK Zookeeper服务器2 CentOS7 (64 位) 192.168.85.137 JAVA JDK Zookeeper服务器3 CentOS7 (64 位) 192.168.85.138 JAVA JDK zk安装包 关闭防火墙 syste
Hadoop zookeeper高可用配置
iaMay_____的博客
08-28 1404
** HDFS的高可用（HA）的实现方式： ** 一种是将NN维护的元数据保存一份到NFS上，当NN故障，可以通过另一台NNe读取NFS目录中的元数据备份进行恢复工作，需要手动进行操作，并不是真正意义上的HA方案。 另一种是准备一台备用NN节点，通过定期下载NN的元数据和日志文件来备份，当NN故障时，可以通过这台进行恢复，由于主备节点元数据和日志并不是实时同步，所以会丢失一些数据。 ...
Zookeeper高可用集群配置
皮皮的雅客
08-16 700
环境准备 高可用集群环境搭建，参考如下文档： https://blog.youkuaiyun.com/king123456man/article/details/81517234 ZooKeeper完全分布式集群搭建，参考如下文档： https://blog.youkuaiyun.com/king123456man/article/details/81737991 脚本准备：批分发(xcall.sh)和批...
实现高可用的Zookeeper集群：使用Zookeeper和其他开源工具
热门推荐
AI天才研究院
07-03 1万+
作者：禅与计算机程序设计艺术 《79. 实现高可用的Zookeeper集群：使用Zookeeper和其他开源工具》 1. 引言 1.1. 背景介绍 随着分布式系统的广泛应用，如何实现高可用的Zookeeper集群成为了许多开发者关注的问题。Zookeeper作为一款成熟且广
Hadoop完全分布式集群可用搭建Kafka高可用集群吗
06-07
<think>嗯，用户现在的问题是希望在Hadoop完全分布式集群上搭建Kafka高可用集群。首先，需要理解用户的场景：用户可能正在搭建一个大数据处理平台，需要集成Kafka实现实时数据流处理，同时要求高可用性。用户引用的资料里提到SSH免密登录、Hadoop集群配置、Zookeeper集群搭建等，说明用户已经有基本环境，但可能对Kafka集成部分不太熟悉。用户的需求明确，但深层需求可能是确保Kafka在Hadoop集群上稳定运行，避免单点故障，并能够和现有组件如Hive、Spark等协同工作。用户提供的引用中有提到Zookeeper、Flink、HiveServer2等，推测用户可能计划构建包含流处理和批处理的综合系统，所以Kafka的高可用性至关重要。接下来需要确定用户的环境：从引用看，用户似乎已经部署了Hadoop集群（包括NameNode和ResourceManager的高可用），Zookeeper集群也已搭建（引用[2][3]）。因此，步骤应该从验证Zookeeper状态开始，因为Kafka依赖Zookeeper进行协调和元数据管理。Kafka高可用集群的核心在于多Broker配置，每个Broker需要唯一的ID和相同的Zookeeper连接地址。配置文件中必须设置监听地址、日志存储路径、副本数等关键参数。分发配置文件到所有节点并启动Kafka时，需要注意启动顺序：先Zookeeper，后Kafka。用户可能遇到的常见问题包括端口冲突、磁盘权限不足、副本配置错误导致高可用失效。因此，准备在相关问题中补充这些运维知识点。最后，测试部分需要覆盖创建多分区Topic、生产者-消费者验证、模拟故障转移等场景，确保高可用机制生效。还需要考虑和现有Hadoop组件的兼容性，比如HDFS路径权限（如果Kafka日志存HDFS）、防火墙设置等。引用[4]提到Spark启动命令，用户可能有流计算需求，所以应该提醒后续集成SparkStreaming或Flink的配置要点。</think> 以下是基于 Hadoop 完全分布式集群搭建 Kafka 高可用集群的详细步骤（需确保 Hadoop 集群、Zookeeper 集群及 SSH 免密登录已就绪）： --- ### **一、前置条件** 1. **Hadoop 集群** - 确认 HDFS/YARN 高可用已启用（如 NameNode HA、ResourceManager HA）[^3] 2. **Zookeeper 集群** - 至少 3 节点（例如 `hadoop01,hadoop02,hadoop03:2181`）[^2][^5] - 验证状态：`zkServer.sh status` 3. **Java 环境** - 所有节点安装 JDK 8+，配置 `JAVA_HOME`（参考 `hadoop-env.sh` 设置）[^1][^3] 4. **SSH 免密登录** - 确保集群节点间可无密码互访[^1] --- ### **二、Kafka 集群搭建步骤** #### **1. 下载并分发 Kafka** ```bash # 在 hadoop01 操作 wget https://downloads.apache.org/kafka/3.6.1/kafka_2.13-3.6.1.tgz tar -zxvf kafka_2.13-3.6.1.tgz -C /usr/local/ scp -r /usr/local/kafka_2.13-3.6.1 hadoop02:/usr/local/ scp -r /usr/local/kafka_2.13-3.6.1 hadoop03:/usr/local/ ``` #### **2. 配置 Kafka 高可用** 编辑每台节点的 `server.properties`（路径：`$KAFKA_HOME/config/server.properties`）： ```properties # 唯一 Broker ID（不同节点不同ID） broker.id=1 # hadoop01=1, hadoop02=2, hadoop03=3 # 监听地址（内网IP） listeners=PLAINTEXT://hadoop01:9092 # 日志存储目录（确保目录存在且可写） log.dirs=/data/kafka-logs # 建议使用独立磁盘 # Zookeeper 集群地址 zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181 # 高可用关键配置 default.replication.factor=3 # 副本数≥Broker数 min.insync.replicas=2 # 最小同步副本数 offsets.topic.replication.factor=3 transaction.state.log.replication.factor=3 ``` #### **3. 同步配置并设置环境变量** ```bash # 分发配置文件（以 hadoop01 为基准） scp /usr/local/kafka/config/server.properties hadoop02:/usr/local/kafka/config/ scp /usr/local/kafka/config/server.properties hadoop03:/usr/local/kafka/config/ # 所有节点添加环境变量 echo 'export KAFKA_HOME=/usr/local/kafka' >> /etc/profile echo 'export PATH=$PATH:$KAFKA_HOME/bin' >> /etc/profile source /etc/profile # [^4] ``` #### **4. 启动 Kafka 集群** ```bash # 所有节点依次启动（先启Zookeeper，再启Kafka） zkServer.sh start # 若Zookeeper未运行 kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties # 验证进程 jps | grep Kafka # 应看到 Kafka 进程 ``` #### **5. 测试高可用** ```bash # 创建 Topic（副本数=3） kafka-topics.sh --create \ --bootstrap-server hadoop01:9092 \ --replication-factor 3 \ --partitions 3 \ --topic test-ha # 查看 Topic 状态 kafka-topics.sh --describe \ --bootstrap-server hadoop01:9092 \ --topic test-ha # 模拟故障（关闭一个Broker后观察Leader切换） kafka-server-stop.sh # 在某个节点执行 ``` --- ### **三、关键配置说明** | **配置项** | **值示例** | **作用** | |------------|------------|----------| | `broker.id` | 1/2/3 | Broker 唯一标识 | | `zookeeper.connect` | `hadoop01:2181,...` | 集群协调服务地址 | | `default.replication.factor` | 3 | 数据默认副本数 | | `min.insync.replicas` | 2 | 最小同步副本数（保证数据安全） | | `log.dirs` | `/data/kafka-logs` | 高性能磁盘目录 | --- ### **四、常见问题** 1. **端口冲突** - 检查 `server.properties` 中的 `listeners` 端口是否被占用 2. **磁盘空间不足** - 监控 `/data/kafka-logs` 目录，设置日志清理策略： ```properties log.retention.hours=168 # 保留7天 log.retention.bytes=1073741824 # 1GB/分区 ``` 3. **副本不同步** - 确保 `min.insync.replicas < replication.factor` --- ### **相关配置参考** - **Zookeeper 集成**：Zookeeper 管理 Kafka Broker 元数据与选举[^5] - **Hadoop 协作**：Kafka 数据可下沉至 HDFS（需配置 `connect-hdfs` 插件） - **安全加固**：建议启用 SASL/SSL 认证（生产环境必备）
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值