Docker本地搭建Hadoop高可用,Hbase,Spark,Flink,Zookeeper集群_基于docker容器,搭建hadoop+spark+hive+hbase+zookeeper sca

最新推荐文章于 2024-07-25 17:32:49 发布
最新推荐文章于 2024-07-25 17:32:49 发布
阅读量1.2k 收藏 10
点赞数 3
分类专栏： 程序员 文章标签： 大数据 面试 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/kOS0ym/article/details/138664614
版权

img
img

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

在这里插入图片描述

Kafka集群搭建

#拉取Kafka镜像和kafka-manager镜像
docker pull wurstmeister/kafka:2.12-2.3.1
docker pull sheepkiller/kafka-manager
编辑docker-compose.yml文件
version: '2'

services:
  broker1:
    image: wurstmeister/kafka:2.12-2.3.1
    restart: always  # 出现错误时自动重启
    hostname: broker1# 节点主机
    container\_name: broker1 # 节点名称
    privileged: true  # 可以在容器里面使用一些权限
    ports:
      - "9091:9092"   # 将容器的9092端口映射到宿主机的9091端口上
    environment:
      KAFKA\_BROKER\_ID: 1
      KAFKA\_LISTENERS: PLAINTEXT://broker1:9092
      KAFKA\_ADVERTISED\_LISTENERS: PLAINTEXT://broker1:9092
      KAFKA\_ADVERTISED\_HOST\_NAME: broker1
      KAFKA\_ADVERTISED\_PORT: 9092
      KAFKA\_ZOOKEEPER\_CONNECT: zoo1:2181/kafka1,zoo2:2181/kafka1,zoo3:2181/kafka1
      JMX\_PORT: 9988   # 负责kafkaManager的端口JMX通信
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
      - ./broker1:/kafka/kafka\-logs\-broker1
    external\_links:
    - zoo1
    - zoo2
    - zoo3
    networks:
      default:
        ipv4\_address: 172.25.0.14
  
  broker2:
    image: wurstmeister/kafka:2.12-2.3.1
    restart: always
    hostname: broker2
    container\_name: broker2
    privileged: true
    ports:
      - "9092:9092"
    environment:
      KAFKA\_BROKER\_ID: 2
      KAFKA\_LISTENERS: PLAINTEXT://broker2:9092
      KAFKA\_ADVERTISED\_LISTENERS: PLAINTEXT://broker2:9092
      KAFKA\_ADVERTISED\_HOST\_NAME: broker2
      KAFKA\_ADVERTISED\_PORT: 9092
      KAFKA\_ZOOKEEPER\_CONNECT: zoo1:2181/kafka1,zoo2:2181/kafka1,zoo3:2181/kafka1
      JMX\_PORT: 9988
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
      - ./broker2:/kafka/kafka\-logs\-broker2
    external\_links:  # 连接本compose文件以外的container
    - zoo1
    - zoo2
    - zoo3
    networks:
      default:
        ipv4\_address: 172.25.0.15
broker3:
    image: wurstmeister/kafka:2.12-2.3.1
    restart: always
    hostname: broker3
    container\_name: broker3
    privileged: true
    ports:
      - "9093:9092"
    environment:
      KAFKA\_BROKER\_ID: 3
      KAFKA\_LISTENERS: PLAINTEXT://broker3:9092
      KAFKA\_ADVERTISED\_LISTENERS: PLAINTEXT://broker3:9092
      KAFKA\_ADVERTISED\_HOST\_NAME: broker3
      KAFKA\_ADVERTISED\_PORT: 9092
      KAFKA\_ZOOKEEPER\_CONNECT: zoo1:2181/kafka1,zoo2:2181/kafka1,zoo3:2181/kafka1
      JMX\_PORT: 9988
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
      - ./broker3:/kafka/kafka\-logs\-broker3
    external\_links:  # 连接本compose文件以外的container
    - zoo1
    - zoo2
    - zoo3
    networks:
      default:
        ipv4\_address: 172.25.0.16
kafka-manager:
    image: sheepkiller/kafka-manager:latest
    restart: always
    container\_name: kafka-manager
    hostname: kafka-manager
    ports:
      - "9000:9000"
    links:            # 连接本compose文件创建的container
      - broker1
      - broker2
      - broker3
    external\_links:   # 连接本compose文件以外的container
      - zoo1
      - zoo2
      - zoo3
    environment:
      ZK\_HOSTS: zoo1:2181/kafka1,zoo2:2181/kafka1,zoo3:2181/kafka1
      KAFKA\_BROKERS: broker1:9092,broker2:9092,broker3:9092
      APPLICATION\_SECRET: letmein
      KM\_ARGS: -Djava.net.preferIPv4Stack=true
    networks:
      default:
        ipv4\_address: 172.25.0.10

networks:
  default:
    external:   # 使用已创建的网络
      name: bigdata


#运行命令
docker-compose up -d

在这里插入图片描述
**看看本地端口9000也确实起来了
在这里插入图片描述
在这里插入图片描述

Hadoop高可用集群搭建

docker-compose创建集群
version: '2'

services:
  master:
    image: hadoop:latest
    restart: always  # 出现错误时自动重启
    hostname: master# 节点主机
    container\_name: master # 节点名称
    privileged: true  # 可以在容器里面使用一些权限
    networks:
      default:
        ipv4\_address: 172.25.0.3

  master\_standby:
    image: hadoop:latest
    restart: always
    hostname: master_standby
    container\_name: master_standby
    privileged: true
    networks:
      default:
        ipv4\_address: 172.25.0.4

  slave01:
    image: hadoop:latest
    restart: always
    hostname: slave01
    container\_name: slave01
    privileged: true
    networks:
      default:
        ipv4\_address: 172.25.0.5

  slave02:
    image: hadoop:latest
    restart: always
    container\_name: slave02
    hostname: slave02
    networks:
      default:
        ipv4\_address: 172.25.0.6
  slave03:
    image: hadoop:latest
    restart: always
    container\_name: slave03
    hostname: slave03
    networks:
      default:
        ipv4\_address: 172.25.0.7
命令行方式创建
#创建一个master节点
docker run -tid --name master --privileged=true hadoop:latest /usr/sbin/init
#创建热备master\_standby节点
docker run -tid --name master_standby --privileged=true hadoop:latest /usr/sbin/init
#创建三个slave
docker run -tid --name slave01 --privileged=true hadoop:latest /usr/sbin/init
docker run -tid --name slave02 --privileged=true hadoop:latest /usr/sbin/init
docker run -tid --name slave03 --privileged=true hadoop:latest /usr/sbin/init
给每台节点配置免密码登陆
ssh-keygen -t rsa
#然后不断会车，最终如下图所示
#每台机器都是如此

在这里插入图片描述

将各自的公钥传到每台机器authorized_keys里面

这里有个小问题：先检查安装了passwd没有，如果没有执行以下命令：

yum install passwd
#然后设置密码
passwd

在这里插入图片描述

#一台机器的公钥都要弄到自己和其他机器的authorized\_keys
#以免以后安装其他东西减少不必要的麻烦
cat id_rsa.pub >> .ssh/authorized_keys
编辑/etc/hosts

注意：这里的master_standby可能不允许带下划线，有的机器在hdfs格式化的时候会不合法，所以你配置最后不要带特殊字符
在这里插入图片描述

#将/etc/hosts复制到每台节点
scp /etc/hosts master_standby:/etc/
scp /etc/hosts slave01:/etc/
scp /etc/hosts slave02:/etc/
scp /etc/hosts slave03:/etc/
配置Hadoop
#解压hadoop包
tar -zxvf hadoop-2.8.5.tar.gz
配置环境变量
#配置环境变量
vim ~/.bashrc
#添加以下内容
export HADOOP\_HOME=/usr/local/hadoop-2.8.5
export CLASSPATH=.:$HADOOP\_HOME/lib:$CLASSPATH
export PATH=$PATH:$HADOOP\_HOME/bin
export PATH=$PATH:$HADOOP\_HOME/sbin
export HADOOP\_MAPRED\_HOME=$HADOOP\_HOME
export HADOOP\_COMMON\_HOME=$HADOOP\_HOME
export HADOOP\_HDFS\_HOME=$HADOOP\_HOME
export YARN\_HOME=$HADOOP\_HOME
export HADOOP\_ROOT\_LOGGER=INFO,console
export HADOOP\_COMMON\_LIB\_NATIVE\_DIR=$HADOOP\_HOME/lib/native
export HADOOP\_OPTS="-Djava.library.path=$HADOOP\_HOME/lib"
#将这个文件拷到其他机器的下面
scp ~/.bashrc 机器名字:~/
#hadoop命令验证一下

在这里插入图片描述

配置文件

hdfs-site.xml

<configuration>

<!-- same with core-site.xml:defaultFS-->
<property>
        <name>dfs.nameservices</name>
        <value>mycluster</value>
</property>
<!-- two NameNode,nn1 and nn2-->
<property>
        <name>dfs.ha.namenodes.mycluster</name>
        <value>nn1,nn2</value>
</property>

<!-- mycluster.nn1 Namenode's RPC Address-->
<property>
<name>dfs.namenode.rpc-address.mycluster.nn1</name>
<value>master:9000</value>
</property>
<!-- mycluster.nn1 Namenode's Http Address-->
<property>
<name>dfs.namenode.http-address.mycluster.nn1</name>
<value>master:50070</value>
</property>
<!-- mycluster.nn2 Namenode's RPC Address-->
<property>
<name>dfs.namenode.rpc-address.mycluster.nn2</name>
<value>master_standby:9000</value>
</property>
<!-- mycluster.nn2 Namenode's Http Address-->
<property>
<name>dfs.namenode.http-address.mycluster.nn2</name>
<value>master_standby:50070</value>
</property>

<!-- where the NameNode's metadata store in JournalNodes -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://slave01:8485;slave02:8485;slave03:8485/mycluster</value>
</property>

<!-- where Journaldata store in its disk-->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/usr/local/hadoop-2.8.5/journaldata</value>
</property>

<!-- open automatic-failover when fail-->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>

<!-- the way when fail  -->
<property>
<name>dfs.client.failover.proxy.provider.mycluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- set the methods which disdancy-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<!-- -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>

<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
</configuration>

core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://mycluster</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-2.8.5/tmp</value>
</property>

<property>
<name>ha.zookeeper.quorum</name>
<value>zoo1:2181,zoo2:2181,zoo3:2181</value>
</property>
</configuration>

yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
 <!-- open the yarn HA-->
 <property>
 <name>yarn.resourcemanager.ha.enabled</name>
 <value>true</value>
 </property>
<!-- RM's cluster id-->
 <property>
 <name>yarn.resourcemanager.cluster-id</name>
 <value>mycluster</value>
 </property>

    <!-- Rm's name-->
 <property>
 <name>yarn.resourcemanager.ha.rm-ids</name>
 <value>rm1,rm2</value>
 </property>

    <!-- RM1's address-->
 <property>
 <name>yarn.resourcemanager.hostname.rm1</name>
 <value>master</value>
 </property>
 <!-- RM2's address-->
 <property>
 <name>yarn.resourcemanager.hostname.rm2</name>
 <value>master\_standby</value>
 </property>

    <!-- zookeeper cluster address-->
 <property>
 <name>yarn.resourcemanager.zk-address</name>
 <value>zoo1:2181,zoo2:2181,zoo3:2181</value>
 </property>

    <!-- mapreduce-->
 <property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce\_shuffle</value>
 </property>

    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
<!-- open RM restart-->

    <property>
            <name>yarn.resourcemanager.webapp.address.rm1</name>
            <value>master:8001</value>
    </property>
    <property>
            <name>yarn.resourcemanager.webapp.address.rm2</name>
            <value>master_standby:8001</value>
    </property>
    <!-- RM1 -->
 <property>
 <name>yarn.resourcemanager.scheduler.address.rm1</name>
 <value>master:8030</value>
 </property>
 <property>
 <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
 <value>master:8031</value>
 </property>
 <property>
 <name>yarn.resourcemanager.address.rm1</name>
 <value>master:8032</value>
 </property>
 <property>
 <name>yarn.resourcemanager.admin.address.rm1</name>
 <value>master:8033</value>
 </property>
 <!-- RM2 -->
 <property>
 <name>yarn.resourcemanager.scheduler.address.rm2</name>
 <value>master\_standby:8030</value>
 </property>
 <property>
 <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
 <value>master\_standby:8031</value>
 </property>
 <property>
 <name>yarn.resourcemanager.address.rm2</name>
 <value>master\_standby:8032</value>
 </property>
 <property>
 <name>yarn.resourcemanager.admin.address.rm2</name>
 <value>master\_standby:8033</value>
 </property>
 <!-- YARN ?~[~F群?~Z~D?~A~Z?~P~H?~W??~W?~\~@?~U??~]?~U~Y?~W??~U? -->
 <property>


![img](https://img-blog.csdnimg.cn/img_convert/8bf4a80f590d0422470c9e20b5b0adf7.png)
![img](https://img-blog.csdnimg.cn/img_convert/318dbf0ba48d274a8f5dec076dac0694.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.youkuaiyun.com/forums/4f45ff00ff254613a03fab5e56a57acb)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

 </property>
 <property>
 <name>yarn.resourcemanager.admin.address.rm2</name>
 <value>master\_standby:8033</value>
 </property>
 <!-- YARN ?~[~F群?~Z~D?~A~Z?~P~H?~W??~W?~\~@?~U??~]?~U~Y?~W??~U? -->
 <property>


[外链图片转存中...(img-NzEiyXiS-1715322003877)]
[外链图片转存中...(img-N4RM3Iwi-1715322003878)]

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.youkuaiyun.com/forums/4f45ff00ff254613a03fab5e56a57acb)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
Docker搭建hadoop和spark集群
escapeape的博客
04-01 1968
在宿主机器的浏览器输入0.0.0.0:8080 就可以查看spark集群的运行状况。在宿主机器的浏览器输入0.0.0.0:8080 就可以查看spark集群的运行状况。6.拉取的镜像的环境变量默认配置在/etc/profile中。6.拉取的镜像的环境变量默认配置在/etc/profile中。选择conda来管理python虚拟环境。选择conda来管理python虚拟环境。拉取的镜像没有配置spark,手动配置。拉取的镜像没有配置spark,手动配置。4. 使用conda创建虚拟环境。
Nginx（搭建高可用集群）
最新发布
rkmhr_sef的博客
02-20 701
注意：这里由于tomcat1在主Nginx上，一旦主Nginx崩溃，则这个tomcat就不可用，所以才需要在从Nginx也搭建一份，如果部署在独立主机上就不需要，就像这个tomcat2。
利用Docker快速部署hadoop、hive和spark
m0_43405302的博客
11-08 2711
文章目录一、配置文件yml1.docker-compose.yml二、执行脚本1.启动脚本run.sh2.关闭脚本stop.sh 一、配置文件yml 1.docker-compose.yml version: '3.4' services: namenode: image: test/hadoop-namenode:1.1.0-hadoop2.8-java8 container_name: namenode volumes: - ./data/namenode:/h
docker-compose部署hbase集群 —— 筑梦之路
筑梦之路
06-05 1976
HBase是一个开源的NoSQL，它主要基于Hadoop分布式文件系统（HDFS）运行。HBase最初是由Facebook公司贡献，其基于Google的Bigtable模型开发，在强大的水平扩展性和高可用性的基础上，提供了可以扩展垂直规模的存储。HBaseHBase采用列式存储的方式来存储数据，它使用HDFS作为底层文件系统，并把数据存放到HDFS中的多个Region中，每个Region能够存储多行数据。这种存储方式使得HBase可以支持非常大的数据量，并且具有更好的写性能。HBase。
基于docker的spark-hadoop分布式集群搭建
独醉的博客
11-24 3706
基于docker的spark-hadoop分布式集群搭建一、docker的安装1.windows10专业版安装2.windows10家庭版安装3.对docker进行测试4.创建需要的镜像与容器二、环境的配置1.更换apt源2.安装必要的网络工具3.将master提交作为基础镜像4.在镜像基础上创建slave1和slave2三、完全分布式hadoop的搭建1.系统配置IP分配主机名设置配置hosts重启网络检查网络2.创建hadoop账户3.安装和配置JAVA环境下载并解压JDK4.SSH免密登录安装并配置S
docker搭建hadoop+hbase
weixin_42486564的博客
07-25 1973
docker搭建hadoop+hbase
Docker(Hadoop-3.3.1+HBase-2.4.16+Zookeeper-3.7.1+Hive-3.1.3)配置文件
03-21
Docker(Hadoop_3.3.1+HBase_2.4.16+Zookeeper_3.7.1+Hive_3.1.3 )配置文件 搭建集群环境
spark+clickhouse+hive+kafka+vue+hbase大型分析系统
11-06
基于Flink+ClickHouse构建的分析平台，涉及 Flink1.9.0 、ClickHouse、Hadoop、Hbase、Kafka、Hive、Jmeter、Docker 、HDFS、MapReduce 、Zookeeper 等技术
docker搭建hadoop集群、hbase、postgresql
supergirlll的博客
09-07 3817
docker搭建hadoop集群 镜像包内容： 1、安装包下载： hadoop下载链接 hbase下载链接 2、制作Dockerfile，文件内容： #环境配置 RUN yum install -y openssh openssh-clients openssh-server which net-tools RUN ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa && cat ~/.ssh/id_rsa.pub >> ~/.ssh/author
用docker在Hadoop集群上搭建zookeeper集群
weixin_56114243的博客
11-08 741
用docker在Hadoop集群上搭建zookeeper集群
Docker下HBase学习，三部曲之三：java开发
程序员欣宸的博客
10-03 2541
学习在java应用中操作HBase
Docker-compose部署Hadoop
Winter的博客
04-20 1626
Docker部署Hadoop的优势Docker部署Hadoop的优势：简化部署流程：使用Docker可以快速部署Hadoop集群，无需手动安装和配置各个组件；提高可移植性：Docker容器可以在不同的环境中运行，保证了Hadoop集群的可移植性；方便管理和维护：Docker提供了一套完整的容器管理和维护工具，可以方便地管理和维护Hadoop集群；节省资源：使用Docker可以避免虚拟化技术带来的性能损失，同时也可以节省硬件资源。Hadoop在Docker中的限制。
docker部署Hadoop、HBase环境（Centos7系统）
u010588886的专栏
10-26 2603
一、安装docker 1.下载离线包 Index of linux/static/stable/x86_64/ 2.
Docker实战之Zookeeper集群
cuishiying的专栏
03-03 362
1. 概述 这里是 Docker 实战系列第四篇。主要介绍分布式系统中的元老级组件 Zookeeper。 ZooKeeper 是一个开源的分布式协调服务，是 Hadoop，HBase 和其他分布式框架使用的有组织服务的标准。 分布式应用程序可以基于 ZooKeeper 实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master 选举、分布式锁和分布式队列等功能。 读过 D...
hadoop+spark+zookeeper
留点心意的博客
08-17 616
主机名 IP地址 安装的软件 运行的进程 Node10 192.168.18.23 jdk,hadoop,spark namenode,resourcemanager,zkfc Node20 192.168.18.230 jdk,hadoop,spark namenode,
Docker下安装Hadoop和Spark集群
havefun00的博客
12-29 7050
Docker下Spark分布式集群搭建本教程使用docker模拟3台主机搭建分布式Spark集群，属于伪分布式： 1、Docker安装 2、下载已经配置好的Spark集群镜像文件 3、新建3个容器，分别命名为cloud8，cloud9，cloud10 4、启动集群 5、通过web端查看 6、测试案例 1、Docker安装Docker可以在Window下和Linux下安装，本教程基于Ubuntu16.
Docker的Hadoop-Hbase的 Docker Hub文档
u012632105的博客
04-22 265
https://hub.docker.com/r/krejcmat/hadoop-hbase-master
基于docker容器，快速搭建hadoop+spark+hive+hbase集群的详细过程记录
06-28
但是，我可以提供一些基于Docker容器快速搭建Hadoop+Spark+Hive+HBase集群的详细过程记录的参考资料，供您参考。 1. 准备工作 首先，需要安装Docker和Docker Compose。可以参考官方文档进行安装。 2. 下载镜像 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值