3台虚拟机搭建kafka集群

最新推荐文章于 2025-03-12 17:37:46 发布
最新推荐文章于 2025-03-12 17:37:46 发布
阅读量836 收藏 3
点赞数 2
分类专栏： zookeeper 文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sungaochao/article/details/109584699
版权

系统:centOS7

kafka安装包版本：kafka_2.11-0.11.0.0.tgz

1.在opt目录下创建module目录，

2.将kafka解压到module目录下：

tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/module

3.在解压后的kafka根目录下创建logs目录

4.vim编辑模式下修改config目录下的server.properties配置文件

修改配置文件的broker.id，第一台取值为0，第二台取值为1，第三台取值为2，依次类推。

允许删除主题的配置改为true

每一台的监听配置改为本机ip地址：

最低0.47元/天 解锁文章
高可用之基于Docker搭建Kafka集群
永远热泪盈眶 坚持输出
07-26 641
基于Docker搭建Kafka集群是最近一直在用的技术，同时也是自己的总结，采用Docker实现三台机器的集群搭建，分分钟教你学会如何搭建。
启动kafka报错
dengmanzhou3124的博客
07-28 2362
执行启动kafka服务的命令时报错：nohup bin/kafka-server-start.sh config/server.properties 2>&1 & [2019-07-28 12:58:44,760] ERROR [ReplicaManager broker=1] Error while making broker the follower for ...
虚拟机上安装集群kafka
iME_cho的博客
06-22 585
虚拟机上安装集群kafka
启动kafka
weixin_40530363的博客
01-09 249
bin/kafka-server-start.sh config/server.properties
在虚拟机中部署kafka
最新发布
weixin_55347379的博客
03-12 1063
首先，最开始我想通过docker来部署kafka，但遇到一个问题，就是这kafka的镜像下不下来。然后我在网上找答案，说需要改一下，修改/etc/docker/daemon.json内容，配置国内镜像，然后我发现不行，然后试着修改一下DNS改为223.5.5.5也不行，之后我就是直接到阿里云开源镜像网站下来一个kafka_2.12.3.7.2版本开始安装镜像包地址之后就是开始安装了首先我用的是FinalShell用其他的工具也行，接下来就是正式开始了，下把镜像包下载下来。
虚拟机搭建kafka集群（Center OS 7）
DavidSoCool的博客
08-21 814
操作系统：center os 7 软件：jdk8、zookeepe-3.5.5、kafka2.2.0 zookeeper集群部署：https://blog.youkuaiyun.com/DavidSoCool/article/details/96431181 kafka下载地址：https://www.apache.org/dyn/closer.cgi?path=/kafka/2.2.0/kafka_2...
Kafka之——集群搭建
冰河的专栏
10-28 2132
一、Zookeeper集群搭建 Kafka集群是把状态保存在Zookeeper中的，首先要搭建Zookeeper集群。 1、软件环境 （3台服务器-我的测试） 192.168.7.100 server1 192.168.7.101 server2 192.168.7.107 server3 1-1、Linux服务器一台、三台、五台、（2*n+1），Zookeeper集群的工作是超
2021windows虚拟机搭建kafka集群详细步骤+可能出现的bug+重新部署(带图,超详细,亲测有效)
ManCxyster的博客
06-30 1677
第一步:安装zookeeper 这里使用的是zookeeper-3.6.3,直接去管网下载即可 第二步:配置zookeeper （1）下载解压完成后，来到conf文件夹下，有一个 zoo_sample.cfg 官方默认的配置文件。复制一份，重命名为 zoo.cfg （2）配置，打开zoo.cfg 修改配置信息 dataDir=../zkData dataLogDir=../zkLog clientPort=2181 修改完新增下列属性: admin.serverPort=8000 server.1=12
kafka集群搭建
u010080562的博客
04-05 481
（2）分别在三台虚拟机上传apache-zookeeper-3.8.4-bin.tar.gz到/opt目录下并解压。（5）三台虚拟机之间相互能够通过ssh免密访问（主要是为了后面执行一键启动kafka集群脚本不要在输入密码）kafka-cluster.sh脚本（一键启停kafka集群脚本）（3）分别在三台虚拟机上修改zookeeper配置文件。（4）分别在三台虚拟机上创建kafka-logs目录。（4）分别在三台虚拟机上修改kafka的配置文件。（4）分别在三台虚拟机创建如下目录。（1）准备三台虚拟机。
Kafka集群搭建（3台机）
05-25
搭建Kafka集群涉及到对虚拟机的安装配置、JDK环境的搭建、Zookeeper的安装配置等关键步骤。下面详细介绍各个知识点。 首先，虚拟机的安装是搭建Kafka集群的基础。文中提到了使用VMWare来安装三台虚拟机，并分配了...
vm搭建kafka集群 [记录]
yiluoe的博客
05-06 311
kafka.apache.org scala2.11-kafka0.11.0.0（0.9及以后消息偏移量存储位置与isr缓存队列的塞选策略有所变更。 kafka 是一个由scala和java开发的流处理平台，是一种高吞吐量的分布式发布订阅消息系统。 安装 解压 tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/module 创建文件夹 mkdir /opt/module/kafka_2.11-0.11.0.0/logs // mkdir /opt/modul
三台机器安装kafka集群
water
05-06 628
下载kafka https://archive.apache.org/dist/kafka/1.1.1/kafka_2.11-1.1.1.tgz 解压到安装目录 tar -zxvf kafka_2.11-1.1.1.tgz -C ../servers 配置文件 第一台：修改kafka配置文件server.properties broker.id=0 num.network.threads=3 n...
虚拟机安装KAFKA
qq_34648165的博客
01-27 655
准备三台虚拟机（并且配置好hosts文件） 172.28.128.16 master.hive.com master 172.28.128.17 node01.hive.com node01 172.28.128.18 node02.hive.com node02 安装jdk1.8 安装zookeeper [all]创建目录 mkdir /opt/cluster [master]下载安装包 http://archive.cloudera.com/cdh5/cdh/5/zookeepe..
虚拟机---kafka的安装
微微~
04-23 832
注:前提安装Zookeeper 1.下载安装包 2.解压并将安装的文件夹更改名字 tar zxvf kafka_2.11-0.10.0.0.tgz 更改包的名字 mv kafka_2.11-0.10.0.0 kafka 进入kafka文件夹中 cd kafka 3.使用安装包中的脚本启动单节点Zookeeper 实例 bin/zookeeper-server-start.sh -d...
Kafka系列 - 06 Kafka 集群环境搭建（三台服务器）
你今天真好看呀
11-27 2669
hadoop-101 虚拟机的 IPADDR 的地址改为：192.168.38.23；hadoop-103 虚拟机的 hostname 的地址改为：hadoop103；kafka集群搭建，需要3台虚拟机环境，但是我目前只安装了一台虚拟机，因此还需要准备两台虚拟机环境，正常情况下应该再安装2台虚拟机，这里为了方便直接克隆出3台虚拟机。② 配置 broker.id，这是Kafka在整个集群当中的唯一身份标识，每个节点不能重复。④ 启动集群：启动集群就是分别启动每个实例，启动后我们查询一下每个实例的运行状态。
分布式kafka集群搭建
向阳争渡
05-09 217
集群介绍： 192.168.122.15 vm01 192.168.122.150 vm02 192.168.122.52 vm03 kafka需要zookeeper来管理，所以需要先安装zookeeper。zookeeper的安装可以看我之前写的博客 kafka下载地址 下载完成后解压，并且修改config目录下的server.properties文件 #三个虚拟机分别设置b...
虚拟机搭建Kafka
Monkey-yc
07-30 1115
目录 1.下载Kafka，上传到Linux并解压。 2.启动Kafka自带Zookeeper。 3.启动Kafka Broker。 4.创建Topic。 5.启动Kafka消费者。 6.启动Kafka生产者。 1.下载Kafka，上传到Linux并解压。 http://kafka.apache.org/downloads选择自己需要的版本进行下载。 启动VM虚拟机，我使用已经装好的CentOS7 使用Xshell连接Linux系统。使用Xftp将下载的Kafka上传到Linux系统 .
java调用虚拟机中集群的kafka遇到的一些问题
weixin_38051945的博客
03-28 180
说下我遇到的一个问题，在虚拟机里使用kafka-console-consumer.sh 和 kafka-console-producer.sh 都没有问题。然后在idea中写了一个demo 消费的信息总是没有。 原因是： 在server.properties 中 listeners=PLAINTEXT://hadoop001:9092 这里用的是hadoop001，linux的机器名 将这里的h...
Docker快速搭建Zookeeper与Kafka集群实战
在所有容器启动后，Zookeeper集群和Kafka集群就搭建完成了。你可以通过Docker的端口映射访问这些服务，进行相关的测试和应用开发。这种方法不仅简化了部署过程，还便于在不同环境中保持一致性，非常适合学习和快速...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值