kafka+自带zk的伪集群部署

最新推荐文章于 2024-07-14 22:02:33 发布
最新推荐文章于 2024-07-14 22:02:33 发布
阅读量386 收藏 1
点赞数
分类专栏： kafka 文章标签： kafka zk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lzlnd/article/details/105838686
版权
本文详细介绍了如何在本地使用Kafka自带的Zookeeper进行伪集群部署，包括检查JDK环境、下载安装包、配置Zookeeper、启动Zookeeper伪集群、配置Kafka伪集群、启动Kafka及验证安装成功的过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

kafka是用来传递消息的分布式的消息队列。kafka使用自带的zk进行伪集群部署的步骤如下：

1.检查环境。kafka的启动需要jdk1.8的支撑。

2.下载kafka的安装包

https://archive.apache.org/dist/kafka

可以在里面找到你想要的版本。

3.在你想要的安装路径下解压

tar -zxvf kafka.tgz

4.要想启动kafka首先需要zk的支撑。所以先部署zk的伪集群

   4.1在kafka的安装路径下找到conf/zookeeper.properties并修改为

4.2 复制zookeepre.properties为zookeeper_1.properties和zookeeper_2.properties

最低0.47元/天 解锁文章
Kafka+zookeeper集群部署
changyitt的博客
08-09 1156
echo -------------------------------- $i kafka 启动 ---------------------------echo -------------------------------- $i kafka 停止 ---------------------------mkdir /opt/zookeeper/zk1/{data,logs} ##在虚机192.168.190.151上。启停kafka：./kafka-cluster.sh stop。
kafka+zookeeper+kafka-manager集群部署（集群版）
无与伦比的博客
07-10 1065
服务器规划 172.25.62.100 172.25.62.101 172.25.62.102 zookeeper1 zookeeper2 zookeeper3 kafka1 kafka2...
Kafka单机及伪集群模式部署及基本操作
踏雪无痕
05-11 452
一.下载，解压 二.启动服务器【先启动zookeeper】 Kafka使用ZooKeeper，因此如果还没有，请先启动ZooKeeper服务器。可以使用kafka的脚本随时来获取快速且高效的单节点ZooKeeper实例。 启动zookeeper： 启动Kafka： 三.创建topic 用一个分区和一个副本创建一个名为“ test1”的主题： 现在，运行list topic命令，可以看到该主题： 四.生产消息 Kafka带有一个命令行客户端，它将从文件或标准输入中获取输入，并将其作为消息发送到Kaf
kafka自带zookeeper安装伪集群操作
weixin_45403057的博客
06-08 444
kafka自带zookeeper安装伪集群操作 一、准备工作 1 、默认已经安装好JDK 2、提前下载一个准备好的安装包：kafka_2.13-2.5.0.tgz 3、 手动下载 下载地址：http://kafka.apache.org/downloads 二、开始安装 上传安装包 2.解压安装包 [root@iZuf63aacjtzo5bxq68kfpZ kafka]# tar -zxvf kafka_2.13-2.5.0.tgz 3.进入解压目录 本人已经将解压文件改名为kafka02；切换到
kafka伪集群配置
刘军的博客
09-05 942
一、概述 测试环境因为机器不够, 所以就在一台机器上配置kafka的集群 集群配置参考kafka文档, 详细的说明不记录 参考链接: http://kafka.apachecn.org/quickstart.html 二、配置 1、预留kafka端口： host1:9092, host2:9093, host3:9094 2、复制配置两个kafka副本 cp c...
Linux环境下搭建kafka伪集群
qq_38205346的博客
07-09 362
Linux环境下搭建kafka伪集群 准备工作 下载安装包zookeeper-3.4.12和kafka_2.11-1.1.1。 软件环境 1台linux机器 创建目录并下载安装 1.创建目录 cd /usr/local/ #进入安装目录（自己定） mkdir kafkacluster #创建项目目录 cd kafkacluster #进入kafkacluster 目录 2.解压软件 解压zookeeper和kafka安装包 将解压后目录改名为zookeeper1和kafka 配置Zookeeper伪
kafka 伪集群搭建及java代码实现
哎幽的成长
10-07 5727
在搭建kafka 我是花费了一些时间，其实这个并不难，只是我想使用docker 搭建遇到了一些宿主机荷容器通信问题，所以耽误了一段时间。下面我分享的是本地搭建非docker 的Kafka伪集群。主要分为以下几步。 第一步，下载zookeeper 和kafka 第二步，解压并修改配置参数 第三步，构建kafka集群 第四步，编写java代码 第一步，下载zookeeper 和kafka
zookeeper集群 + kafka集群
lxplxplike的博客
07-14 1155
主要原因是由于在高并发环境下，同步请求来不及处理，请求往往会发生阻塞。比如大量的请求并发访问数据库，导致行锁表锁，最后请求线程会堆积过多，从而触发 too many connection 错误，引发雪崩效应。我们使用消息队列，通过异步处理请求，从而缓解系统的压力。消息队列常应用于异步处理，流量削峰，应用解耦，消息通讯等场景。当前比较常见的 MQ 中间件有 ActiveMQ、RabbitMQ、RocketMQ、Kafka、Pulsar 等。中间件 实现应用解耦、异步处理。
ELK+zookeeper+kafka+filebeat集群
qq_57653432的博客
05-15 1097
zookeeper： 为读多写少的场景所设计 并不是存储大规模业务数据 而是用于存储少量的状态和 配置信息，每个节点存储数据不能超过1MB 数据存储基于节点 znode（包含数据子节点 子节点引用 访问权限） Zookeeper service 一主多从结构： 更新数据时 首先更新到主节点 （主节点是服务器） leader：事务请求的调度处理者 负责投票的发起和决议 处理写请求 保证集群事务处理的顺序性 follower：转发事务请求给leader 参与投票 参与leader选举投票 ...
【无标题】
03-28 230
acks=all ：只有当所有参与复制的节点全部收到消息时，生产者才会收到一个来自服务器的成功响应。# acks=1 ： 只要集群的首领节点收到消息，生产者就会收到一个来自服务器成功响应。# 值的序列化方式（建议使用Json，这种序列化方式可以无需额外配置传输实体类）# acks=0 ： 生产者在成功写入消息之前不会等待任何来自服务器的响应。# 发生错误后，消息重发的次数，开启事务必须设置大于0。# 开启事务，必须在开启了事务的方法中发送，否则报错。# 生产者内存缓冲区的大小。# Kafka服务器。
Kafka-2、伪集群安装-测试环境搭建
KF30350的博客
10-14 195
一、Java安装 不论安装Zookeeper还是Kafka都需要提前安装好Java并配置好Java环境变量。 Kafka服务端的代码是由Scala语言编写的，新版本的客户端是由Java语言编写的，两种语言都会编译成class文件，都属于JVM语系。 建议安装java8以上版本，参考安装教程。 验证Java安装，使用java -version命令。 二、Zookeeper安装 Zookeeper是安装Kafka集群必要的组件。Zookeeper中保存Kafka的元数据信息。使用单节点Kafka时可以直接使用
Kafka单服务器配置伪集群
qq_38787653的博客
06-19 418
一 简介 Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据，其主要特性如下： 通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性。 高吞吐量：即使是非常普通的硬件，Kafka也可以支持每秒数百万的消息。 支持通过Kafka服务器和消费机集群来分区消息。 支持Hadoop并行数据加载。 Kaf...
简单的kafka（伪）集群搭建
设xy为0的博客
01-28 564
#kafka集群搭建手册 版本 类型 日期 作者 备注 1.0 新建 20210125 邓享玉 概述 基本框架 Kafka是天然支持集群的，哪怕是一个节点实际上也是集群模式 Kafka集群依赖于Zookeeper进行协调，并且在早期的Kafka版本中很多数据都是存放在Zookeeper的 Kafka节点只要注册到同一个Zookeeper上就代表它们是同一个集群的 Kafka通过brokerId来区分集群中的不同节点 一个topic对应多个partition，part
Kafka运维操作指南
zhinengyunwei的博客
01-14 802
作者：石文 时间：2018-12-14 1.启停，进程状态 #启动。若要开启JMX端口需要加载环境变量 su hadoop ./bin/kafka-server-start.sh -daemon ./config/server.properties #停止。 su hadoop ./bin/kafka-server-stop.sh 2.topic相关 #创建topic.默认数据保留时间为7天，...
kafka 自带zk怎么配置_Kafka日志查看
weixin_33817140的博客
12-24 1354
上一篇我们介绍了Kafka的群集环境搭建，本篇我们一起来看一下Kafka的日志。这里说的日志不是 Kafka 的启动日志，启动日志在 Kafka 安装目录下的 logs/server.log 中。消息在磁盘上都是以日志的形式保存的。我们这里说的日志是存放在/tmp/kafka_logs 目录中的消息日志，即 partition 与 segment。查看分区与备份首先我们查看一下在搭建集群...
kafka 自带zk怎么配置_Kafka使用自带Zookeeper搭建集群
weixin_39603492的博客
12-30 814
Kafka是非常常用的软件，集群更是常见的使用方式，本文从实际使用角度出发，搭建一个Kafka集群，并逐渐完善到实际使用阶段。1.概念解释Kafka是无中心节点的结构，集群中的机器是平等的，无主次之分，由于Kafka的集群需要借助Zookeeper来实现，搭建集群时，集群机器的数量要求为：其按2N+1(N>=1)，因此集群最小机器数量为3台。另外，Kafka本身自带了Zookeeper，无需...
自建Kafka及运维实战
NewTyun的博客
07-06 1044
新钛云服已累计为您分享659篇技术干货为什么要自建 Kafka为什么要自建呢？我们先看看商业版的 Kafka 实例的一年费用大概多少。专业版的一年费用：企业版的一年费用：两者的费用加起来，也就是一年：766,320 元/年。我们用这些钱开一家公司都没有问题，或者用来改善员工福利也未尝不可。我们不愿出那么多的????，因此要自建。Kafka 介绍Kafka 官方的定义：是一种高吞...
Kafka环境部署
qq_24045275的博客
05-30 296
1.Zookeeper简介 ZooKeeper是一个开源的分布式组件，能够提供少量数据的存储，并保证这些数据的一致性，另外还提供诸如 临时节点自动删除、顺序节点自增长、发布/订阅 等特性，从而能为分布式程序提供协调服务。基于它，可以实现分布式锁、统一命名服务、配置中心、分布式同步等功能。 它是Google的Chubby一个开源的实现。它本身以集群的形式存在，这个zk集群用来对应用程序集群进行管理，监视应用程序集群中各个节点的状态，并根据应用程序集群中各个节点提交的反馈信息决定下一步的合理操作。 2.Zoo
docker 安装kafka_请让我占用你5分钟的时间，带你体验一把Kafka
weixin_39937635的博客
11-25 298
使用 Docker 安装搭建Kafka环境单机版下面使用的单机版的Kafka 来作为演示，推荐先搭建单机版的Kafka来学习。以下使用 Docker 搭建Kafka基本环境来自开源项目：http://github.com/simplesteph… 。当然，你也可以按照官方提供的来：http://github.com/wurstmeiste… 。新建一个名为 zk-single-kafka-sing...
kafka3.4集群部署
最新发布
01-16
### 关于Kafka 3.4 版本集群部署 #### 配置前准备事项 为了成功部署 Apache Kafka 3.4 版本的集群，需先确认已准备好满足最低要求的操作环境。这包括但不限于安装并配置好 ZooKeeper 实例以及确保操作系统支持必要的依赖项[^5]。 #### 获取软件包 应从官方渠道下载指定版本即 Apache Kafka 3.4 的二进制文件，并将其分发到计划作为 Kafka 节点运行的所有服务器上。对于每台机器而言，解压该压缩包至合适位置以便后续操作。 #### 修改配置参数 编辑 `server.properties` 文件来调整一些重要的属性设定，比如监听端口、日志保存路径等；同时也要注意设置合适的 JVM 参数以优化性能表现。另外，在多节点环境中还需要特别关注 broker.id 和 advertised.listeners 这两个选项，它们用于区分不同的 Broker 并允许客户端正确连接到集群成员之一[^4]。 #### 启动服务进程 依次启动各个节点上的 Kafka Broker 服务之前，请务必先行开启 ZooKeeper 服务实例。可以通过命令行工具或者脚本来实现自动化管理这些后台程序的状态变化过程。 #### 测试连通性和基本功能验证 一旦全部 Brokers 成功上线之后就可以利用内置的生产者/消费者 CLI 工具来进行简单的消息发送接收测试了。如果一切正常，则说明新建立起来的 Kafka Cluster 可以投入实际应用当中去。 ```bash # 创建主题 kafka-topics.sh --create --topic test_topic --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1 # 发送消息 echo "This is a message" | kafka-console-producer.sh --broker-list localhost:9092 --topic test_topic # 接收消息 kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic test_topic ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值