分布式-MQ-05 kafka单机、集群、管理台搭建

旧梦昂志 旧梦昂志 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 2.8k累计阅读 2.9k平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄7年
关注
原创 2022-03-13 18:14:25 2.8k 阅读 AI 写同款· GEO 优化 ›
【信息科学与工程学】计算机科学与自动化——第三百零四篇 高性能系统开发指南01 高并发：限流、熔断、降级高性能：红包拆分、多级缓存、大Key/热Key拆分、Pipeline、线程池、RocketMQ零丢失、幂等、分布式锁、集群缩容、分批入库海量数据处理：日志分表分片、跨表查询、冷热分层、大数据引擎服务器选型系统安全：网关安全、服务器安全、云存储安全、风控、监控、测试数据一致性：缓存与数据库一致性、大厂方案、蓝绿回滚、流量一致性、流程一致性项目与团队管理：流程问题、管理问题（风险、成本、人员、文档、培训）稳定性建设：上线三板斧、线上五步闭环、混沌工程、容量规划。 阅读详情

kafka集群环境搭建

一、zookeeper安装

1.1 环境准备

kafka是基于scala语言开发的，需要运行的JVM上，因此需要先安装JDK

#安装jdk1.8
yum -y install java-1.8.0-openjdk*

1.2 zookeeper安装

  • kafka在早期版本依赖zookeeper对Topic进行分区选举，虽然后续版本中持续去zk化，但即使在2.2.1、2.4.1等版本client中仍然会出现无法正常选举的问题，zk的在短期内仍是更好的选择。
  • zookeeper选举过程，需要超过半数的接收者成功应答才算选举成功，因此Zookeeper集群节点个数一般是奇数(5或6个节点最多只能有2个节点异常，避免集群分区导致脑裂问题)，本文测试使用只搭建1个zk节点
#下载zookeeper
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.5.8/apache-zookeeper-3.5.8-bin.tar.gz
#安装包指定目录解压
tar -zxvf apache-zookeeper-3.5.8-bin.tar.gz  -C  /opt/xxx/zookeeper/
#指定默认配置文件
cp conf/zoo_sample.cfg conf/zoo.cfg
# 启动zookeeper
 bin/zkServer.sh start
 bin/zkCli.sh
 ls / #查看zk的根目录相关节点

二、kafka安装

2.1 下载安装包

本文选择scale2.11版本、kafka2.4.1版本进行测试验证

wget https://archive.apache.org/dist/kafka/2.4.1/kafka_2.11-2.4.1.tgz //直接到apache下载
#下载国内镜像(看了国内几家大的开源镜像都没有上述版本，下面只是介绍解题思路)
#由于linux默认情况没有配置DNS解析器，可以自行添加DNS服务器
#vi  /etc/resolv.conf
#nameserver 8.8.8.8  (谷歌的DNS服务器) 
#nameserver 114.114.114.114  (中国电信的DNS服务器) 
tar -zxvf kafka_2.11-2.4.1.tgz  -C  /opt/xxx/kafka/

2.2 修改配置项

server.properties核心配置项一览：

PropertyDefaultDescription
broker.id0非负整数，kafka集群中区别broker的唯一标识
log.dirs/tmp/kafka-logskafka存储数据的路径
listenersPLAINTEXT://:9092server对外开放服务的ip+port
zookeeper.connectlocalhost:2181配置zookeeper注册中心的集群地址，可配多个需要以;隔开
log.retention.hours168每个日志文件在本地保留的时间，单位小时
num.partitions1创建topic默认分区数
default.replication.factor1创建topic默认副本数
min.insync.replicas1保障数据一致性的判断依据。当producer设置ack=-1时，该数值为判断write至副本成功数的依据。NWR(假设N=5，W=5，R=1，需要5个节点全部写入成功消息发送成功)
delete.topic.enablefasle是否允许删除主题

修改配置文件config/server.properties

#broker.id属性在kafka集群中必须要是唯一 
broker.id=0
#kafka部署的机器ip和提供服务的端口号 
listeners=PLAINTEXT://192.168.149.128:9092
#kafka的消息存储文件
log.dir=/opt/xxx/kafka/logs 
#kafka连接zookeeper的地址(默认2181端口)
zookeeper.connect=192.168.149.128:2181

2.3 服务启停

#后台启动kafka -daemon
bin/kafka-server-start.sh -daemon config/server.properties 
#查看zookeeper目录
bin/zkCli.sh
ls / #查看zk的根目录kafka相关节点
ls /brokers/ids #查看kafka节点
#关闭kafka
bin/kafka‐server‐stop.sh

在这里插入图片描述

2.4 测试验证

命令行作为验证功能的简单方式，了解即可

#创建主题
bin/kafka-topics.sh --create --zookeeper 192.168.149.128:2181 --replication-factor 1 --partitions 1 --topic test
#查看已创建的主题
bin/kafka-topics.sh --list --zookeeper 192.168.149.128:2181
#删除主题
bin/kafka-topics.sh --delete --topic test --zookeeper 192.168.149.128:2181
#发送消息
bin/kafka-console-producer.sh --broker-list 192.168.149.128:9092 --topic test 
#消费消息
bin/kafka-console-consumer.sh --bootstrap-server 192.168.149.128:9092 --topic test

在这里插入图片描述

在这里插入图片描述

三、kafka集群搭建

3.1 准备搭建的集群信息

节点ipzookeeper端口kafka端口broker.id
192.168.149.128218290920
192.168.149.129218290921
192.168.149.130218290922

3.2 搭建zk集群

搭建zk集群首先要修改zoo.cfg，指定zk节点

# zookeeper集群之间心跳检测的时间间隔(单位ms)
tickTime=2000
# follower启动时要在多少次心跳内完成从leader的数据同步
initLimit=10
# leader需要将follower下线的心跳次数
syncLimit=5
# zookeeper存放数据的目录
dataDir=/tmp/zookeeper
# client连接zookeeper的端口号
clientPort=2181
# 允许客户端的最大连接数(0表示不设限制)
#maxClientCnxns=60
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
# zk监听所有可用IP地址的连接
quorumListenOnAllIPs=true
# zk节点
server.1=192.168.149.128:2888:3888
server.2=192.168.149.129:2888:3888
server.3=192.168.149.130:2888:3888

并在zk数据存放目录，指定当前节点的节点号

[root@worker2 conf]# echo 1 > /tmp/zookeeper/myid

重复上述内容，分别在3台机器上安装。并启动：

 #启动zk
 bin/zkServer.sh start
 #关闭zk
 bin/zkServer.sh stop

单节点查看zk节点数

3.3 搭建kafka集群

修改配置文件config/server.properties

#broker.id属性在kafka集群中必须要是唯一 
broker.id=0/1/2
#kafka部署的机器ip和提供服务的端口号 
listeners=PLAINTEXT://192.168.149.128/129/130:9092
#kafka的消息存储文件
log.dir=/opt/xxx/kafka/logs 
#kafka连接zookeeper的地址(默认2181端口)
zookeeper.connect=192.168.149.128:2181,192.168.149.129:2181,192.168.149.130:2181

3.4 分别启动各台kafka

bin/kafka-server-start.sh -daemon config/server.properties

在这里插入图片描述
创建2各分区3各副本的topic:my-local-topic

bin/kafka-topics.sh --create --zookeeper 192.168.149.128:2181 --replication-factor 3 --partitions 2 --topic my-replicated-topic

查看topic情况：
在这里插入图片描述

四、kafka-manager可视化管理工具搭建

4.1 管理台启动

网上找的关于搭建雅虎kafka-manager的非常详细的wiki介绍：https://www.cnblogs.com/dadonggg/p/8205302.html
安利其编译好的安装包：

注意：上面下载的是源码，下载后需要按照后面步骤进行编译。如果觉得麻烦，可以直接从下面地址下载编译好的 kafka-manager-1.3.3.7.zip。 
链接：https://pan.baidu.com/s/1qYifoa4 密码：el4o

启动管理台：

#编辑配置文件，指定zk集群地址
[root@worker1 conf]# vi application.conf
kafka-manager.zkhosts="192.168.149.128:2181,192.168.149.129:2181,192.128.149.130:2181"
#使用默认9000端口启动管理台(自行777解决权限问题)
[root@worker1 kafka-manager-1.3.3.7]# bin/kafka-manager
#或可通过 -Dhttp.port，指定端口; -Dconfig.file=conf/application.conf指定配置文件:
nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=9000 &

在这里插入图片描述

4.2 管理台查看功能

  • 进入首页先要创建集群

在这里插入图片描述

  • 输入zk集群节点后，可以看到kafka集群详细

在这里插入图片描述

  • 查看topic情况

在这里插入图片描述

收录于
MQ

当前文章被收录于：

MQ
6 篇文章 0 人学习
订阅专栏 查看详情
分布式

当前文章被收录于：

分布式
5 篇文章 0 人学习
订阅专栏 查看详情
标签
#分布式 #kafka #zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
【信息科学与工程学】【安全领域】第二百零五篇 漏洞治理 01 形式：RabbitMQ管理插件SSRF CVE-2026-57211（CVSSv4 8.3，Windows多插件可诱发SMB NTLM泄露）、管理API资源无限CWE-770 CVSSv4 5.3、管理UI存储XSS CVE-2026-57214/其他；用法：GET /cgi-bin/.%2e/%2e%2e/etc/passwd→读密文/源码→RCE。定量：CVSS 9.0；例：Spectre CVE-2017-5753、Meltdown CVE-2017-5754（CPU越界/未授权内核读）； 阅读详情

相关推荐

【PLC】三菱PLC控件安装疑难解析：Error Number:-119的全面解决方案

本文针对三菱PLC控件安装过程中常见的Error Number:-119错误，提供了深度解析与实战解决方案。该错误通常源于Windows系统权限限制或文件冲突。文章从理解错误本质入手，逐步介绍了以管理员身份运行、手动注册DLL文件、采用新版环境搭配旧版控件的黄金组合以及系统环境修复等四大招法，帮助用户彻底解决这一安装难题，确保工控软件稳定运行。

jj890的博客 496

Kafka——管理Kafka(命令行工具)详解

有时候，我们需要知道提交的消费者群组偏移量是多少，比如某个特定的群组是否在提交 偏移量，或者偏移量提交的频度。也就是说，如果集群里有 5 个 broker，生产者的配额是 10MB/s，那么它可以以 10MB/s 的速率在单个 broker 上生成 数据，总共的速率可以达到 50MB/s。根 据分区大小的不同，复制过程可能需要花一些时间，因为数据是通过网络复制到新副本上 的。也就是说，在没有认证的情况下也可以使用这些命令行工具，在没 有安全检查和审计的情况下也可以执行诸如主题变更之类的操作。

吴声子夜歌的博客 7074

用ADSP-21569+SigmaStudio打造音频处理系统：从硬件连接到实时调参实战

本文详细介绍了如何利用ADSP-21569 DSP芯片和SigmaStudio图形化编程工具构建高性能音频处理系统。从硬件接口配置、信号流设计到实时参数调试，提供工业级开发中的实用技巧，包括低延迟优化、动态参数插值等关键技术，帮助开发者快速实现专业音频处理方案。

9o8p7i6u5y的博客 979

kafka图形化管理后台

Kafka 本身没有直接的后台管理界面，但可以通过这些工具来实现 Kafka 集群的图形化管理、监控和调优。

weixin_44594317的博客 2905

RTX 50系显卡实战3DGS：从源码编译到避坑指南

本文详细介绍了在RTX 50系显卡上成功运行3D Gaussian Splatting（3DGS）的完整实战指南。针对新显卡架构与旧版预编译包不兼容的核心问题，文章提供了从源码编译CUDA扩展的清晰步骤，包括环境配置、依赖安装、核心模块diff-gaussian-rasterization和simple-knn的编译避坑方法，并涵盖了数据准备、模型训练与实时预览的全流程，帮助开发者高效利用新硬件进行3D重建。

weixin_28314575的博客 264

常见的AXI总线仲裁器概述-AXI协议理解（一）

SoC 设计广泛采用共享总线式的片上通信，其中的仲裁器是共享总线的关键技术之一。AMBA AXI 总线协议以高性能、高频率的系统设计为目标，适合高带宽、低延迟的系统设计，可以达到高频率的操作而不需要复杂的总线桥，满足众多部件的接口要求，具备高度灵活的互联结构，并且向后兼容 AHB 和 APB 接口。

Paul 安的博客 1万+

不要再苦恼没有合适的kafka管理平台，给你分享10款kafka管理工具

不要再苦恼没有合适的kafka管理平台，给你分享10款kafka管理工具，快速了解，选择一款适合自己的。

程序猿的樊笼 2万+

实用电路精讲系列---仪表放大器

摘要 仪表放大器通过三级运放架构实现高共模抑制比（CMRR>100dB）和精密差分放大，其核心是第一级同相运放提供高输入阻抗和可调增益（G=1+2R/RG），第二级差分运放消除共模干扰。具有低失调（≤50μV）、低温漂（≤0.6μV/℃）特性，广泛应用于智能断路器电流监测、ECG心电信号放大等场景。典型电路采用LTC1049运放，通过匹配电阻网络实现199倍差分增益，结合输出缓冲确保信号稳定性。设计时需注意输入共模电压范围限制和增益电阻精度，优选集成IC（如AD620、INA128）以规避分立元件匹配

weixin_40590799的博客 2073

Kafka的灵魂伴侣Logi-KafkaManger(5)之运维管控–平台管理(用户管理和平台配置)

金三银四马上就到了，希望大家能好好学习一下这些技术点学习视频：大厂面试真题：后续会持续更新**如果你觉得这些内容对你有帮助，可以添加V获取：vip1024b （备注Java）[外链图片转存中…(img-adCMiqrW-1711963463279)]金三银四马上就到了，希望大家能好好学习一下这些技术点学习视频：[外链图片转存中…(img-tBWGvH8P-1711963463279)]大厂面试真题：[外链图片转存中…(img-YLQGnLif-1711963463280)]

时间与思念 1110

OpenWebUI联网搜索实战：如何用SearXNG让本地大模型获取实时信息（附百度/360配置）

本文详细介绍了如何通过部署开源元搜索引擎SearXNG，为本地运行的OpenWebUI大语言模型（如Qwen、Llama）配置联网搜索功能，解决其知识库过时的问题。文章重点讲解了SearXNG的Docker部署、集成国内搜索引擎（如百度、360）的配置方法，以及如何与OpenWebUI无缝对接，从而实现本地大模型获取实时、准确的中文信息，提升其实用性。

weixin_28835583的博客 1876

NeRF-Pytorch（训练自己的数据集过程全记录+环境配置+COLMAP+问题解决）

写于2025/1/26，在用NeRF训练自己的数据集过程中该踩的坑都踩过了，发现网上并没有详细完整写这些问题解决过程的帖子，遂自己进行一个全记录和复盘。 整篇文章包括：NeRF训练环境配置；COLMAP三维重建过程（直接给出代码，规避一些bug）；在训练时候出现的问题。 本篇文章仅针对llff格式数据集。

m0_62577716的博客 1774

开源的 Kafka 管理平台

对数据使用现成的 Serde。

Admans的专栏 1777

23、电生理与CSD分析：探索大脑活动的前沿技术

本文介绍了电生理与电流源密度（CSD）分析在探索大脑活动中的前沿应用。从电生理技术的发展现状，到局部场电位（LFPs）的起源与解释，重点阐述了CSD分析的原理、实验方法及其在绘制皮层兴奋流、解析突触输入和研究自发振荡中的广泛应用。文章还总结了该领域的优势与挑战，并展望了技术改进、多模态融合、数据分析创新及临床拓展的未来方向，展示了这些技术在揭示大脑功能机制中的关键作用。

Apple的专栏 121

探索Kafka管理新境界：Kafka Manager可视化管控台全面解析

探索Kafka管理新境界：Kafka Manager可视化管控台全面解析 【下载地址】KafkaManager可视化管控台下载 Kafka Manager 可视化管控台下载 项目地址: https://gitcode.com/op...

gitblog_09799的博客 697

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

NTscan扫描工具

ntscan是一个扫描器，可以扫描没有密码和弱密码的共享，先到配置文件中填写猜测的用户名和密码，扫描过程中右侧出现的是扫描日志。

分享四款开源且实用的 Kafka 管理工具

在现代分布式架构中 Kafka 作为核心的消息流平台，其稳定性和可观测性至关重要。然而，原生命令行操作往往繁琐且缺乏直观性，给日常运维和开发工作带来了不小的挑战。今天大姚给大家分享四款开源且实用的 Kafka 管理工具，希望可以帮助到有需要的小伙伴。

专注于C#/.NET/.NET Core学习、工作、面试干货和实战教程分享。这里聚焦了大量的C#/.NET/.NET Core优质文章、开源项目、实用工具和学习、工作、面试心得。 838

温度PID控制PLC程序

温度PID稳定控制程序，适用于欧姆龙PLC，对其他PLC也具有很大参考价值

kafka-- 安装kafka manager及简单使用

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传。

weixin_39213232的博客 1749

假人有限元模型

假人模型，车辆碰撞假人有限元模型，适合做乘员安全的研究者利用

Kafka 基础教程 — 管理Kafka(命令行工具)详解

作者简介：大家好，我是码炫码哥，前中兴通讯、美团架构师，现任某互联网公司CTO，兼职码炫课堂主讲源码系列专题代表作：《jdk源码&多线程&高并发》，《深入tomcat源码解析》，《深入netty源码解析》，《深入dubbo源码解析》，《深入springboot源码解析》，《深入spring源码解析》，《深入redis源码解析》等联系qq：184480602，加我进群，大家一起学习，一起进步，一起对抗互联网寒冬。

smart_an的专栏 1400

Kafka Console UI：十分钟跑起来的轻量级Kafka可视化管理平台

Kafka Console UI 是一款面向 Apache Kafka 的轻量级可视化管理平台，多集群管理、Topic 创建、消费组监控、消息查询转发都在浏览器里完成。还在用命令行操作 Kafka，或者需要给团队一个统一 Kafka 管理入口的人，值得花十分钟装一下。 ## 解决什么问题：不想再敲命令行的Kafka日常运维 Kafka 自带的命令行工具能做这些事，但参数多、容易敲错，排查问题时

gitblog_00081的博客 200

【亲测免费】 Kafka Manager 可视化管控台：高效管理 Kafka 集群的利器

Kafka Manager 可视化管控台：高效管理 Kafka 集群的利器 【下载地址】KafkaManager可视化管控台下载 Kafka Manager 可视化管控台下载 项目地址: https://gitcode.com/o...

gitblog_09793的博客 490

Kafka（十一）管理Kafka

因此,可以在/usr/local/bin/kafka_2.13-3.6.0/kafka-logs/-< partition>目录下找到转储文件,对这个例子来说就是/usr/local/bin/kafka_2.13-3.6.0/kafka-logs/peter-test-2-0/。一个很明显的例子是,如果集群的默认RF被修改了,但已有主题的RF个数不会自动随之发生变化,那么这个时候就可以用这个工具增加已有分区的RF。如果删除了主题的一个分区,那么这个分区里的数据也会被删除,导致客户端看到的数据不一致。

yunyun1886358的专栏 1885

7k Star，一款开源的 Kafka 管理平台，功能齐全、页面美观！

???? 这是一个或许对你有用的社群???? 一对一交流/面试小册/简历优化/求职解惑，欢迎加入「芋道快速开发平台」知识星球。下面是星球提供的部分资料：《项目实战（视频）》：从书中学，往事上“练”《互联网高频面试题》：面朝简历学习，春暖花开《架构 x 系统设计》：摧枯拉朽，掌控面试高频场景题《精进 Java 学习指南》：系统学习，互联网主流技术栈《必读 Java 源码专栏》：知其然，知其所以然????这是一个或许...

芋艿V 432

selinux

1、修改配置文件/etc/selinux/config 需要重启生效2、setenforce 0 立即生效 转载于:https://blog.51cto.com/ridingonhorse/1873077

weixin_33675507的博客 276

Kafka控制台常用命令及工作流程简单介绍

前言 在使用kafak之前，先启动每个node 的zookeeper服务： zkServer.sh start 一、kafka常用命令 1、启动服务 kafka-server-start.sh -daemon /soft/kafka/config/server.properties 2、查看主题 kafka-topics.sh --list --zookeeper s102:2181 3、查看某...

weixin_43845743的博客 1985

分布式消息流处理平台kafka(一)-kafka单机、集群环境搭建流程及使用入门

自带了zookeeper服务， 不需要额外搭建zookeeper集群服务，如果不想使用也可以使用自己搭建的zookeeper集群。下面主要介绍如何使用自带了zookeeper服务来搭建zookeeper集群主要就是修改$KAFKA_HOME/config/zookeeper.properties, 如果是自己搭建的zookeeper集群， 修改的就是zoo.cfg配置文件， 修改配置文件如下主要就是配置每台zookeeper节点的dataDir参数和增加集群配置，如下。

最爱嫣夜来 3785

KAFKA入门教程

进入kafka官网下载对应版本kafkakafka官网地址：Apache Kafkakafka是使用Scala开发，所以版本号是由 Scala的版本号和Kafka版本号组成的，如：kafka_2.12-3.2.0 ， 2.12是scala版本， 3.2.0是kafka版本，下载完成解压得到kafka，目录结构如下：结构介绍： 可以进入config文件夹，修改kafka和zookeeper配置文件：zookeeper.properties是作为zookeeper的配置文件，dataDir为数据目录，clie

九离的博客 4171
上一篇： 分布式-MQ-04 RocketMQ单机、集群及管理台搭建
下一篇： 分布式-MQ-06 kafka基本使用
点赞 0
评论 0
书签 书签 0
旧梦昂志
旧梦昂志
博客等级 码龄7年 3724粉丝 68原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

旧梦昂志

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值