kafka学习（一）：Kafka集群安装及踩坑

ENffort

已于 2024-10-12 21:29:13 修改

阅读量2k

点赞数 32

CC 4.0 BY-SA版权

分类专栏： kafka学习文章标签： kafka 分布式

于 2024-06-19 23:30:15 首次发布

本文链接：https://blog.youkuaiyun.com/ENffort/article/details/139756013

系列文章目录

kafka学习（一）：Kafka集群安装及踩坑

环境说明

笔者使用Mac笔记本，安装了 VMWare Fusion，准备采用三个节点的虚拟集群安装Zookeeper和Kafka，并在集群之上运行zk和Kafka的集群模式，之后在这个上面进行一系列的学习和实验。需要说明的是：笔者这里服务启动和管理均采用非 root 用户，均使用了 kafka 用户。

Kafka 版本：2.8.0（Scala 2.13 版本）下载地址

zookeeper 版本：3.4.5

Java 版本：Oracle jdk 8 下载地址

Scala 版本：2.13 下载地址

可以在笔者上传的资源直接打包下载地址：打包下载
也可以官网自己手动下载。

虚拟机版本：CentOS 7

其他说明：笔者这里 Kafka 版本使用的是 2.8.0，Kafka 最新的版本为 3.7，这里使用 2.8.0 版本是因为笔者是基于 2.X 版本学习的，二是因为最新版本不再强依赖 Zoo

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

ENffort

关注关注

32
点赞
踩
38

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Kafka 集群安装

CvhShell的博客

09-21

162

Kafka 是一个分布式流处理平台，广泛应用于大规模数据流的处理和消息传递。如果您希望在自己的环境中搭建一个 Kafka 集群，本文将为您提供详细的安装指南和相应的源代码示例。您可以根据自己的需求进行更高级的配置和开发。解压缩后，您将获得 Kafka 的安装文件。Kafka 集群依赖于 ZooKeeper 来管理集群的配置和协调工作。在 Kafka 的安装目录中，找到。替换为您希望存储 Kafka 数据的路径。接下来，我们将逐步进行 Kafka 集群的安装。替换为您希望创建的主题的名称，并将。

kafka监控工具：kafka eagle安装踩坑

运西北

12-29

2315

1、背景：本人kafka使用小白，使用kafka produce生产数据的时候，从后台看kafka topic有没有数据很不方便，从网上找了找，发现有个开源工具kafka eagle比较好使。 2、软件准备：官方网站链接：EFAK 刚开始下载了一个官方最新版的，v2.0.9版本，但是安装一直失败，报jvm崩溃，刚开始也不知道什么原因，选择了一个比较低的版本v1.4.8版本 3、安装流程：（1）从官网获取安装包，一直解压，/opt/software/kafka_eagle/kafka-eag

参与评论您还未登录，请先登录后发表或查看评论

Kafka集群版安装部署

最新发布

giser@2011的博客

05-12

2391

本文介绍了如何搭建Kafka集群，包括单节点多Broker部署和多节点多Broker部署。Kafka集群由Broker节点、Controller节点和混合节点构成，Broker负责消息存储和处理，Controller负责集群元数据管理。Kafka依赖ZooKeeper进行集群管理，本文详细描述了在CentOS 8.4、JDK 17、ZooKeeper 3.8.4环境下部署Kafka 2.7.2的步骤，包括ZooKeeper集群部署、Kafka安装、配置文件修改及服务启动。

kafka集群安装

蒯厅博客

04-27

2413

软件版本 kafka：2.12-2.4.1 前提：zookeeper集群安装成功并启功具体搭建第一步：在hcmaster上，下载kafka_2.12-2.4.1，解压到/usr/local/software/目录，同时修改拥有者为root 第二步：在/etc/profile中添加环境变量第三步：在/usr/local/software/kafka_2.12下创建文件夹data/logs 第四步：修改/usr/local/software/kafka_2.12/conf/server.propert

Kafka集群安装

lIujunXHU的博客

04-25

1573

kafka的管理需要借助zookeeper完成，所以要先安装好zookeeper集群。

Kafka-3.0.1-Docker+集群踩坑笔记

iku_whf的博客

06-25

1435

Kafka-3.2.0-Docker+集群踩坑笔记

Kafka集群搭建踩坑记录

Dennis学习小站

05-27

1267

Kafka集群搭建踩坑记录最近在学习kafka，但是在用虚拟机跑的时候，动不动就会卡死，内存不足之类的，于是想用docker来搭建kafka的运行环境。当然也踩了不少的坑，写一篇博文记录一下。这里我们先不搭建集群的kafka，而是搭建单机的。 Zookeeper环境搭建弄Kafka不搞zookeeper那是不可能的，因此我们先开始弄zookeeper的环境。首先我们在docker里新建一个内网环境： docker network create docker_net # 接下来zookeeper和ka

kafka集群搭建及踩坑记录

mapeng765441650的博客

05-08

512

目录： zookeeper集群搭建 kafka集群搭建踩坑记录 1. zookeeper集群搭建准备三台服务器，我们暂且命名为server1; server2;server3 在server1集群上，新建目录/data/zookeeper；网上下载apache-zookeeper-3.5.7-bin.tar.gz 安装包 (这里有个点要注意，在走zookeeper3.5.5 及以上版本时，下载安装包需要下载带有-bin的安装包) 解压zookeeper安装包，目录apache-zookee

安装集群kafka

qq_58476985的博客

11-07

1777

（4）、查看server.properties配置中的broker.id，是否与myid和zoo.cfg中配置的server.id一致，查看一下zookeeper的路径：/home/hadoop/software/zookeeper-3.4.5（配置环境时会用到）kafka的路径：/home/hadoop/software/kafka_2.11-2.3.1（下面配置环境需要用到）保存一下路径：/home/hadoop/software/kafka_2.11-2.3.1/config。

Kafka学习（四）Kafka的安装

potter

05-08

551

1、下载下载地址：http://kafka.apache.org/downloads.htmlhttp://mirrors.hust.edu.cn/apache/2、安装前提（zookeeper安装）参考http:https://blog.youkuaiyun.com/qq_41851454/article/details/796430933、安装此处使用版本为kafka_2.11-0.8.2.0.tgz2....

Kafka【第一篇】Kafka集群搭建

weixin_30729609的博客

02-22

945

Kafka初识 1、Kafka使用背景在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题：我们想分析下用户行为（pageviews），以便我们设计出更好的广告位我想对用户的搜索关键词进行统计，分析出当前的流行趋势有些数据，存储数据库浪费，直接存储硬盘效率又低这些场景都有一个共同点：数据是由上游模块产生，上游模块，使用上游模块的数据计...

kafKa 安装

野狼e族的博客

05-24

575

依赖于zookeeper环境，需要安装zookeeper 一、安装zookeeper （1）下载：http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.7.0.tar.gz （2）解压 zookeeper-3.4.6.tar.gz 到 /www/instl/zookeeper/zookeeper-3.4.6.tar....

kafka安装

祈雨v的博客

11-08

608

安装教程 Kafka 安装及快速入门问题在生产消息时，发生如下问题： WARN Error while fetching metadata with correlation id 1 : {test=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient) controller.log日志如下： [2018-11-08 10...

flask-kafka踩坑

01-09

### Flask与Kafka集成常见问题及解决方案 #### 1. Kafka依赖库安装失败当尝试在Flask应用中引入`kafka-python`或其他Kafka客户端库时，可能会遇到包安装失败的情况。这通常是因为环境配置不当或缺少必要的编译工具。解决方法是在虚拟环境中执行安装命令，并确保操作系统已安装Python开发文件以及构建必需的软件包[^1]： ```bash pip install kafka-python ``` 如果仍然无法成功安装，则考虑升级Pip版本或将特定版本号固定下来再试一次。 #### 2. 连接超时错误创建生产者或消费者实例时发生连接超时异常，表明应用程序未能及时建立到Kafka集群的有效链接。可能的原因有网络延迟过高、目标服务器地址不正确或是防火墙阻止了通信端口。建议先验证Broker列表中的主机名和端口号设置无误；接着确认本地机器能够正常访问远程服务；最后调整socket_timeout_ms参数值来增加等待时间窗口: ```python from kafka import KafkaProducer producer = KafkaProducer( bootstrap_servers=['localhost:9092'], socket_timeout_ms=30*1000 # 设置为30秒 ) ``` #### 3. 数据序列化/反序列化格式不符向主题发送消息前需指定合适的键值编码方式，默认情况下采用字符串形式表示。然而实际场景下经常需要用到JSON对象或者其他自定义结构体作为负载内容，在这种情形下就需要额外处理数据转换逻辑。可以利用json.dumps()函数将字典转成合法的JSON串并附带相应的内容类型头信息传递给send()接口调用: ```python import json message_value = {"key": "value"} future_record_metadata = producer.send('my-topic', value=json.dumps(message_value).encode()) ``` 对于消费端而言则相反，接收后应立即解码恢复原始形态以便后续业务流程继续运作下去: ```python for message in consumer: decoded_message = json.loads(message.value.decode()) print(decoded_message["key"]) ``` #### 4. 并发性能瓶颈随着并发请求量增大，单线程模式下的I/O密集型操作容易成为整个系统的效率短板所在。此时可借助多进程或多线程技术实现异步非阻塞式的批量提交机制从而提高吞吐率表现。通过继承ThreadingMixIn类来自定义HTTPServer类即可轻松达成目的: ```python from http.server import HTTPServer, BaseHTTPRequestHandler from threading import Thread from concurrent.futures.thread import ThreadPoolExecutor class SimpleHttpServer(HTTPServer): def __init__(self, *args, **kwargs): super().__init__(*args, **kwargs) self.executor = ThreadPoolExecutor(max_workers=8) if __name__ == '__main__': server_address = ('', 8000) handler_class = MyRequestHandler with SimpleHttpServer(server_address, handler_class) as httpd: threads = [] while True: request, client_address = httpd.get_request() thread = Thread(target=httpd.process_request_thread, args=(request, client_address)) thread.start() threads.append(thread) if len(threads) >= 8: for t in threads[:]: t.join(timeout=0.1) if not t.is_alive(): threads.remove(t) ``` 当然也可以直接选用gevent等第三方协程框架进一步简化代码复杂度的同时获得更好的资源利用率效果。