Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive 完全分布式高可用集群搭建(保姆级超详细含图文)

置顶 已于 2025-06-09 20:24:48 修改
阅读量2.5w 收藏 205
点赞数 52
分类专栏： linux系统运维 文章标签： hadoop 分布式 spark flink zookeeper hive hbase
于 2023-07-05 22:53:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_46153337/article/details/131564616
版权

说明:

本篇将详细介绍用二进制安装包部署hadoop等组件，注意事项，各组件的使用，常用的一些命令，以及在部署中遇到的问题解决思路等等，都将详细介绍。

1.环境说明

1.1 ip规划

ip hostname
192.168.1.11 node1
192.168.1.12 node2
192.168.1.13 node3

1.2系统配置

1.2.1系统版本

[root@localhost ~]# cat /etc/redhat-release 
CentOS Linux release 7.9.2009
了解本专栏 订阅专栏 解锁全文 超级会员免费看
flink hadoop zookeeper hbase kafka集群的搭建与部署
06-18 571
本教程基于4台机器(预装有CentOS7 Linux系统)完成Hadoop集群及其相关组件的搭建，1个master，3个slave。 1 Linux环境准备 1.1 基础设置 修改主机名 hostnamectl set-hostname master reboot 1 2 依次将其他3台机器设置为slave1,slave2,slave3。 修改IP地址 vim /etc/sysconfig/network-scripts/ifcfg-ens33 TYPE="Ethernet" PROXY_METHO.
Zookeeper +Hadoop HA
m0_59737088的博客
07-13 510
1. zookeeper引言 简介 Apache ZooKeeper是Apache软件基金会的一个软件项目，大数据集群服务器的管理者协调者。 简言：ZK就是一个管理多个服务(集群分布式环境下)的通知机制 Watcher+文件系统 ZNode 文件系统：保存少量，服务器相关的配置文件信息。 Watcher 监听通知机制：注册监听服务器的上下线。 特点 zk集群中的数据内容，完全一致。 zk作为集群管理者，天生不存在单点问题。 zk的主机是动态选举出来的。 应用场景 2. 集群安装
Linux多虚拟机集群化配置详解(Zookeeper集群、Kafka集群、Hadoop集群、HBase集群、Spark集群、Flink集群、Zabbix、Grafana部署)
xy294636185的博客
06-27 1760
linux大数据集群环境搭建
大数据计算资源基础知识，以及5个核心技术讲解（hadoop、mapreduce、hive、spark、flink）
最新发布
Samblue_M的博客
04-15 1303
大数据处理面临的主要挑战是数据量太大，无法在单台机器上高效处理。因此，需要分布式系统将数据和计算任务分散到多台机器上协同完成。根据处理方式和应用场景的不同，发展出了不同类型的计算资源。
zookeeper + hadoop
测试
06-17 154
hadoop-2.9.1 + zookeeper-3.4.12 + jdk-8u171-linux-x64 以及failover 测试 (resouce manager 以及　name node) # yum -y install ntp # timedatectl set-timezone Asia/Shanghai # ntpdate -u ntp.api.bz # getenforce ...
ZooKeeper学习之路 （九）利用ZooKeeper搭建Hadoop的HA集
一尘在心的博客
07-19 373
目录 Hadoop HA 原理概述 为什么会有 hadoop HA 机制呢？ 那如何解决呢？ 集群规划 集群服务器准备 集群安装 1、安装 Zookeeper 集群 2、安装 hadoop 集群 Hadoop HA集群的初始化 1、启动ZooKeeper 2、在你配置的各个journalnode节点启动该进程 3、格式化namenode 4、要把在ha...
Hadoop+Spark + Hive高可用集群部署
woturanshihuaidexiao的博客
12-30 1837
Hadoop+Spark+Hive高可用分布式集群安装 集群规划 节点IP 节点别名 zookeeper节点 JournalNode节点 NodeManager节点 DataNode节点 zkfc节点 NameNode节点 ResourceManager节点 192.168.99.61 spark01 zookeeper JournalNode NodeManager Data...
基于ZooKeeper搭建Hadoop高可用集群，附大数据入门指南
架构文摘
06-26 755
大数据依然是当前较为火热的领域，其背后的核心价值是数据。今天分享一个GitHub上一个系类文章，作者是heibaiying，大数据入门指南（2019）地址：https:/...
（集群）搭建Hadoop+Hbase+hive+Spark（详解版）
qq_46138492的博客
01-07 1745
（集群）搭建Hadoop+Hbase+hive+Spark（详解版）
Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署
06-22
在大数据领域，构建一个完整的生态系统是至关重要的，其中包括多个组件，如Hadoop、Spark、Hive、HBase、Oozie、Kafka、Flume、Flink、Elasticsearch和Redash。这些组件协同工作，提供了数据存储、处理、调度、流...
Hadoop+Hive+Spark+Kafka+Zookeeper+Flume+Sqoop+Azkaban+Scala
05-05
基于 Zookeeper 搭建 Hadoop 高可用集群 二、Hive 简介及核心概念 Linux 环境下 Hive 的安装部署 CLI 和 Beeline 命令行的基本使用 常用 DDL 操作 分区表和分桶表 视图和索引 常用 DML 操作 数据查询详解 三、Spark ...
Docker本地搭建Hadoop高可用,Hbase,Spark,Flink,Zookeeper集群_基于docker容器,搭建hadoop+spark+hive+hbase+zookeeper sca
2401_89172892的博客
12-20 477
ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888 # zookeeper节点列表。#或者直接拷贝过去scp -r /usr/local/hadoop-2.8.5/tmp masterstandby:/usr/local/hadoop-2.8.5。external_links: # 连接本compose文件以外的container。#拉取Kafka镜像和kafka-manager镜像。
zookeeper + hadoop
lusic01的专栏
05-23 1997
　» Zookeeper 作为 Hadoop 项目中的一个子项目，是Hadoop 集群管理的一个必不可少的模块，它主要用来控制集群中的数据，如它管理 Hadoop　　　集群中的NameNode，还有 Hbase 中 Master Election、Server 之间状态同步等。　　» Zoopkeeper 提供了一套很好的分布式集群管理的机制，就是它这种基于层次型的目录树的数据结构，并对树中的节点...
hadoop+zookeeper 高可用集群搭建
Amour恋空的博客
06-04 441
    首先，hadoop需要java运行环境，所以请提前配置好JDK以及Hadooop环境变量1. 集群规划  主机名ipNameNodeDataNodeYarnZooKeeperJournalNodeZhiyou01192.168.233.128是是否是是Zhiyou02192.168.233.130是是否是是Zhiyou03192.168.233.131否是是是是2. 准备：（在一台机器上配...
hadoop+zookeeper搭建高可用集群
weixin_44178366的博客
09-29 871
hadoop搭建高可用集群 问题：现有集群存在哪些问题?HDFS集群，单个NN场景下，如果NN故障了，整个HDFS集群就不可用（中心化集群），解决方案是配置多个NN。 但是问题又来了，多个NN的场景下由哪一台对外提供服务呢？ 当HDFS实现多NN的高可用后，但是只有一台NN对外提供服务，其他的NN都是替补，当正在提供服务的NN宕机故障（standby），其他的NN自动切换Active状态 当一台NN故障后，其他NN如果争抢上位 采用高可用集群中的自动故障转移机制来完成切换 2NN在高可用的集群中还要不要
Spark学习（二）Spark高可用集群搭建
potter
04-20 2137
1、下载Spark安装包官网网址：http://spark.apache.org/downloads.html2、Spark安装过程2.1、上传并解压缩[potter@potter2 ~]$ tar -zxvf spark-2.3.0-bin-hadoop2.7.tgz -C apps/2.2、修改配置文件（1）进入配置文件所在目录/home/potter/apps/spark-2.3.0-bin...
Zookeeper集群和Hadoop集群安装（保姆级教程）
aj_shang的博客
03-07 4450
Zookeeper集群和Hadoop集群安装（保姆级教程），集群搭建
zookeeper+hadoop+hbase 之 zookeeper
zhangxihangzhuan的专栏
12-06 490
zookeeper+hadoop+hbase 之 zookeeper
Hadoop 搭建高可用集群--zookeeper
m0_73469590的博客
02-19 1412
Hadoop 搭建高可用集群--zookeeper
hadoop+spark+hive+hbase+oozie+kafka+flume+flink+es+redash等详细安装部署
05-12
Hadoop是一个开源的分布式计算框架，可用于处理大数据集并提供高可靠性，高可用性和高性能。要进行详细的安装部署，需要运行以下步骤： 1. 安装Java：Hadoop基于Java编写，因此需要安装适当的Java版本。 2. 安装Hadoop：以二进制文件的形式下载Hadoop，并将其解压缩到目标位置。编辑Hadoop配置文件，并设置必要的参数，例如本地文件系统和Hadoop所依赖的其他组件。 3. 部署HDFS：使用bin/hdfs script启动HDFS守护进程并格式化NameNode。配置HDFS，并在数据节点上创建数据目录。 4. 部署YARN：使用bin/yarn script启动YARN守护进程，并在ResourceManager节点上运行MR程序的ApplicationMaster服务。重新配置YARN，并设置资源管理器和节点管理器。 5. 安装Spark：以二进制文件的形式下载Spark，并将其解压缩到目标位置。编辑Spark配置文件，并设置必要的参数，例如运行模式，内存设置和调试选项。 6. 安装Hive：以二进制文件的形式下载Hive，并按照说明进行安装。配置Hive，并设置Metastore和HiveServer2。 7. 安装HBase：以二进制文件的形式下载HBase，并按照说明进行安装。配置HBase，并设置区域服务器和HBase主服务器。 8. 安装Oozie：以二进制文件的形式下载Oozie，并按照说明进行安装。编辑Oozie配置文件，并设置必要的参数，例如数据库连接，属性和内存设置。 9. 安装Kafka：以二进制文件的形式下载Kafka，并按照说明进行安装。配置Kafka，并设置必要的参数，例如Zookeeper连接，日志存储位置和日志大小限制。 10. 安装Flume：以二进制文件的形式下载Flume，并按照说明进行安装。配置Flume，并设置必要的参数，例如Flume代理，事件类型和目标。 11. 安装Flink：以二进制文件的形式下载Flink，并按照说明进行安装。配置Flink，并设置必要的参数，例如集群模式，任务管理器，计算管道和作业提交方式。 12. 安装ES：以二进制文件的形式下载Elasticsearch，并按照说明进行安装。配置Elasticsearch，并设置必要的参数，例如节点类型，索引设置和查询配置。 13. 安装Redash：以二进制文件的形式下载Redash，并按照说明进行安装。配置Redash并设置必要的参数，例如数据库连接，权限和查询模式。 以上提到的大数据技术是开源的，所以可以在官网上找到相关二进制文件和详细的安装部署指南。也可以使用一些自动化的部署工具，如Puppet和Ansible来简化整个过程。
评论 23
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Mr.L-OAM

奉旨要钱

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值