docker部署kafka集群开启SASL-PLAIN

最新推荐文章于 2025-11-24 04:33:06 发布
原创 最新推荐文章于 2025-11-24 04:33:06 发布 · 691 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#docker #kafka #容器

2 docker部署kafka集群版

Kafka官网：https://kafka.apache.org/

2.1 部署环境准备

linux环境、docker环境

部署环境配置版本下载链接
ECSCentOS 7.6三台2vCPUs|4GiB
docker19.03.9脚本

2.2 服务器信息

ID规格IP
ecs-kafka1centos7.6,2vCPUs|4GiB172.16.20.92
ecs-kafka2centos7.6,2vCPUs|4GiB172.16.20.207
ecs-kafka3centos7.6,2vCPUs|4GiB172.16.20.209

2.3 脚本使用

保存下面脚本内容到文件：install-kafka.sh

vim install-kafka.sh 
chmod +x install-kafka.sh 
source install-kafka.sh 
#一键安装完成后可输入docker ps -a查看

2.4 脚本内容(集群每个节点开启先后时间差距不要太长，避免需要重启)

#!/bin/bash
##################### 准备工作 #####################
#1.镜像拉取速度慢的话加镜像加速器脚本
#2.镜像加速器地址https://console.huaweicloud.com/swr/?region=cn-north-4#/swr/mirror
#3.注意修改IP地址&&根据自己需要修改挂载文件和文件变量
#4.修改broker的配置文件
#5.开启下面表格里的端口
#6.可视化的账户密码和端口视情况修改
#IP
ip1=172.16.20.83
ip2=172.16.20.113
ip3=172.16.20.139
​
#宿主机文件（可修改）与容器文件（不可修改）
file=/opt/zookeeper                              #可修改
file1=/opt/bitnami/kafka                         #不可修改
​
#更改brokerid=0.1.2
VAR='broker.id=0' #节点id修改
​
#zookeeper节点的标记1,2,3
myid=1          #zookeeper节点标记修改
​
#更改监控ip变量ip1,ip2,ip3
listeners="$ip1" 
​
#zk命名zoo1,zoo2,zoo3
zk=zoo1
​
#kafka命名kafka1,kafka2,kafka3
ka=kafka1
​
#########################################################################################
​
#创建网络
docker network create app-tier 
​
#拉取镜像
docker pull bitnami/kafka:latest
​
#启动zookeeper
docker run -d --name zookeeper \
--network app-tier \
-p 2181:2181 \
-e ALLOW_ANONYMOUS_LOGIN=yes \
bitnami/kafka:latest \
$file1/bin/zookeeper-server-start.sh $file1/config/zookeeper.properties
​
#启动kafka
docker run -d --name kafka \
--network app-tier \
-p 9092:9092 \
-e ALLOW_PLAINTEXT_LISTENER=yes \
-e KAFKA_CFG_ZOOKEEPER_CONNECT=zookeeper:2181 \
-e KAFKA_CFG_BROKER_ID=0 \
-e KAFKA_CFG_LISTENERS=PLAINTEXT://:9092 \
-e KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://$ip:9092 \
bitnami/kafka:latest \
$file1/bin/kafka-server-start.sh  $file1/config/server.properties
​
#复制kafka容器里的文件    
docker cp kafka:$file1 $file
​
#删除容器
docker stop zookeeper
docker rm zookeeper 
docker stop kafka
docker rm kafka 
​
#更换kafka配置文件名并添加sasl认证
mv $file/config/server.properties.original $file/config/server.properties
sed -i -e "s/broker.id=0/$VAR/g" $file/config/server.properties
sed -i -e '35a \listeners=PLAINTEXT://0.0.0.0:9092' $file/config/server.properties
sed -i -e '39a \advertised.listeners=PLAINTEXT://'$listeners':9092' $file/config/server.properties
sed -i -e 's|zookeeper.connect=.*|zookeeper.connect='$ip1':2181,'$ip2':2181,'$ip3':2181/myKafka|g' $file/config/server.properties
sed -i '$a \listeners=SASL_PLAINTEXT://0.0.0.0:9092 \nadvertised.listeners=SASL_PLAINTEXT://'$listeners':9092 \nsecurity.inter.broker.protocol=SASL_PLAINTEXT \nsasl.mechanism.inter.broker.protocol=PLAIN \nsasl.enabled.mechanisms=PLAIN \nauthorizer.class.name=kafka.security.authorizer.AclAuthorizer \nsuper.users=User:admin \nallow.everyone.if.no.acl.found=false' $file/config/server.properties
​
#部署zookeeper
sed -i -e 's:dataDir=.*:dataDir='$file1':g' $file/config/zookeeper.properties
sed -i -e '$a tickTime=2000 \n#Leader-Follower初始通信时限 \ntickTime*10 \ninitLimit=10 \n#Leader-Follower同步通信时限 \ntickTime*5 \nsyncLimit=5 \n#设置broker Id的服务地址 \nserver.1='$ip1':2888:3888\nserver.2='$ip2':2888:3888\nserver.3='$ip3':2888:3888\nquorumListenOnAllIPs=true' $file/config/zookeeper.properties
#节点标记
echo $myid > $file/myid
​
#编辑kafka_server_jaas.conf
touch $file/config/kafka_server_jaas.conf
echo 'KafkaServer {' >> $file/config/kafka_server_jaas.conf
sed -i -e 'aorg.apache.kafka.common.security.plain.PlainLoginModule required \nusername="admin" \npassword="admin" \nuser_admin="admin" \nuser_kafka="kafka"; \n}; \nClient { \norg.apache.zookeeper.server.auth.DigestLoginModule required \nusername="kafka" \npassword="kafka"; \n};' $file/config/kafka_server_jaas.conf
​
#编辑kafka_client_jaas.conf
touch $file/config/kafka_client_jaas.conf
echo 'KafkaClient {' >> $file/config/kafka_client_jaas.conf
sed -i -e 'aorg.apache.kafka.common.security.plain.PlainLoginModule required \nusername="admin" \npassword="admin"; \n}; \nClient { \norg.apache.zookeeper.server.auth.DigestLoginModule required \nusername="admin" \npassword="admin"; \n};' $file/config/kafka_client_jaas.conf
​
#编辑zk_server_jaas.conf
touch $file/config/zk_server_jaas.conf
echo 'Server {' >> $file/config/zk_server_jaas.conf
sed -i -e '$a org.apache.zookeeper.server.auth.DigestLoginModule required \nusername="kafka" \npassword="kafka” \nuser_kafka="kafka"; \n};' $file/config/zk_server_jaas.conf
​
sed -i -e '29a \    export KAFKA_OPTS="-Djava.security.auth.login.config='$file1'/config/zk_server_jaas.conf -Dzookeeper.authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider -Dzookeeper.requireClientAuthScheme=sasl"' $file/bin/zookeeper-server-start.sh
​
#编辑内部客户端工具
sed -i -e '$a security.protocol=SASL_PLAINTEXT \nsasl.mechanism=PLAIN' $file/config/consumer.properties
sed -i -e '$a security.protocol=SASL_PLAINTEXT \nsasl.mechanism=PLAIN' $file/config/producer.properties
​
#修改Broker启动脚本
sed -i -e '30a \    export KAFKA_OPTS=" -Djava.security.auth.login.config='$file1'/config/kafka_server_jaas.conf"' $file/bin/kafka-server-start.sh
sed -i -e '18a \    export KAFKA_OPTS=" -Djava.security.auth.login.config='$file1'/config/kafka_client_jaas.conf"' $file/bin/kafka-console-producer.sh
sed -i -e '18a \    export KAFKA_OPTS=" -Djava.security.auth.login.config='$file1'/config/kafka_client_jaas.conf"' $file/bin/kafka-console-consumer.sh
​
#Topic_JAAS 文件加载 SASL 凭证
touch $file/config/config.properties
echo 'sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="admin" password="admin";' >> $file/config/config.properties
sed -i -e '$a security.protocol=SASL_PLAINTEXT \nsasl.mechanism=PLAIN' $file/config/config.properties
​
#JMX监控
sed -i -e '214,220c JMX_PORT=9997 \nJMX_RMI_PORT=9996 \nISKAFKASERVER="false" \nif [[ "$*" =~ "kafka.Kafka" ]]; then \n        ISKAFKASERVER="true" \nfi \nif [  $JMX_PORT ] && [ "true" == "$ISKAFKASERVER" ]; then \n        KAFKA_JMX_OPTS="$KAFKA_JMX_OPTS -Dcom.sun.management.jmxremote.port=$JMX_PORT -Dcom.sun.management.jmxremote.rmi.port=$JMX_RMI_PORT " \n        echo set KAFKA_JMX_PORT:$KAFKA_JMX_OPTS \nfi' $file/bin/kafka-run-class.sh
​
#########################################################################################
​
#启动zookeeper
docker run -d --name $zk \
--network app-tier \
-p 2181:2181 -p 2888:2888 -p 3888:3888 \
-v $file:$file1 \
-e ALLOW_ANONYMOUS_LOGIN=yes \
-e KAFKA_OPTS="-Djava.security.auth.login.config=$file1/config/zk_server_jaas.conf" \
bitnami/kafka:latest \
$file1/bin/zookeeper-server-start.sh $file1/config/zookeeper.properties
​
#启动kafka
docker run -p 9092:9092 --name $ka --network app-tier -d \
-v $file:$file1 \
-e ALLOW_PLAINTEXT_LISTENER=yes \
-e KAFKA_ZOOKEEPER_CONNECT=$ip1:2181,$ip2:2181,$ip3:2181 \
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://$listeners:9092 \
-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 \
-e KAFKA_OPTS="-Djava.security.auth.login.config=$file1/config/kafka_server_jaas.conf" \
-e JMX_PORT=9997 \
-e KAFKA_JMX_OPTS="-Dcom.sun.management.jmxremote=true -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Djava.rmi.server.hostname=$listeners -Dcom.sun.management.jmxremote.port=9997" \
bitnami/kafka:latest \
$file1/bin/kafka-server-start.sh $file1/config/server.properties
​
########################################################################################
​
#(注意更换IP)
#启动生产者
#/opt/bitnami/kafka/bin/kafka-console-producer.sh --broker-list 172.16.20.142:9092 --topic test --producer.config /opt/bitnami/kafka/config/producer.properties
#创建消费者
#/opt/bitnami/kafka/bin/kafka-console-consumer.sh --bootstrap-server 172.16.20.142:9092 --topic test --from-beginning --consumer.config /opt/bitnami/kafka/config/consumer.properties
#创建topic
#/opt/bitnami/kafka/bin/kafka-topics.sh --create --bootstrap-server ip1:9092,ip2:9092,ip3:9092 --partitions 2  --replication-factor 1 --topic test --command-config /opt/bitnami/kafka/config/config.properties
#查看topic
#/opt/bitnami/kafka/bin/kafka-topics.sh --list --bootstrap-server 172.16.20.142:9092 --command-config /opt/bitnami/kafka/config/config.properties

2.5 参数说明

zookeeper容器启动参数
参数说明
-d以守护进程的方式启动
--name zookeeper把容器的名字设置为kafka
--network app-tier创建网络
-p 2181:2181 -p 2888:2888 -p 3888:3888把容器内的端口挂载到宿主机上面，宿主机端口:容器内部端口
-v /opt/zookeeper:/opt/bitnami/kafka挂载启动文件
-e KAFKA_OPTS="-Djava.security.auth.login.config=/opt/bitnami/kafka/config/zk_server_jaas.conf"sasl开启
bitnami/kafka:latest使用的镜像名称+版本
/opt/bitnami/kafka/bin/zookeeper-server-start.sh /opt/bitnami/kafka/config/zookeeper.properties启动zookeeper服务
kafka容器启动参数
参数说明
-d以守护进程的方式启动
--name kafka把容器的名字设置为kafka
--network app-tier创建网络
-p 9092:9092把容器内的端口9092 挂载到宿主机9092 上面，宿主机端口:容器内部端口
-v /opt/zookeeper:/opt/bitnami/kafka挂载启动配置文件
-e KAFKA_OPTS="-Djava.security.auth.login.config=/opt/bitnami/kafka/config/kafka_server_jaas.conf"sasl文件启动
-e JMX_PORT=9997 \监控端口
-e KAFKA_JMX_OPTS="-Dcom.sun.management.jmxremote=true -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Djava.rmi.server.hostname=$listeners -Dcom.sun.management.jmxremote.port=9997" \端口配置
bitnami/kafka:latest使用的镜像名称+版本
/opt/bitnami/kafka/bin/kafka-server-start.sh /opt/bitnami/kafka/config/server.properties启动kafka配置文件

2.6 部署完成和生产消费测试

docker logs 【容器名字】查看kafka的日志信息

查找Cluster ID确定三台服务器在一个集群

Topic创建&&生产测试

在另一台服务器上进行消费测试

暗相信光
关注
【kafka】Kafka 集群配置SASL+ACL
九师兄
01-04 1907
1.概述 转载：https://www.cnblogs.com/xiao987334176/p/10110389.html 想根据这个做个试验，但是现在不行试试。以后用的时候试试 一、简介 在Kafka0.9版本之前，Kafka集群时没有安全机制的。Kafka Client应用可以通过连接Zookeeper地址，例如zk1:2181:zk2:2181,zk3:2181等。来获取存储在Zookeeper中的Kafka元数据信息。拿到Kafka Broker地址后，连接到Kafka集群，就可以操作集群上的所有主
【中间件】docker+kafka单节点部署---zookeeper模式
youmiqianyue的博客
12-31 2889
最近生产环境上准备部署ELFK日志监控，先在测试环境部署单节点kafka验证调通相关配置，特此记录kafka部署流程，后续再补充kafka高可用方案；
Kafka集群搭建（Docker方式部署）
shenaohuoli132的博客
04-10 3101
2.Zookeeper配置,创建Zookeeper配置文件。3.创建Zookeeper日志配置。4.创建Docker编排文件。
docker创建kafka(带SASL认证)
zwjapple的专栏
08-17 3443
docker创建kafka，带用户名密码验证， python连接kafka验证
kafka-go SASL/SCRAM认证完整指南：安全连接Kafka集群的终极教程
最新发布
gitblog_01080的博客
11-24 732
在当今数据驱动的时代，Apache Kafka已成为企业级数据流处理的核心组件。随着安全意识的提升，如何安全地连接Kafka集群变得尤为重要。kafka-go作为Go语言中最流行的Kafka客户端库，提供了强大的SASL/SCRAM认证支持，让您的数据连接更加安全可靠。本文将为您详细介绍如何使用kafka-go实现SASL/SCRAM认证，确保您的Kafka连接万无一失。 ## 什么是SASL/
docker-compose创建kafka支持SASL_PLAINTEXT_kafka配置sasl_plaintext认证在docker-compose
2401_84159966的博客
04-08 921
外链图片转存中…(img-FMTRck0E-1712514760301)]
Kafka SASL/PLAIN 环境构建(Docker版)
Be yourself.
11-22 5908
前言 近来，老有朋友询问Kafka SASL配置 & Demo测试 这篇文章的相关内容。近来无事，准备将所以的组件打成镜像。此处，便讲的为 Kafka SASL/PLAIN权限验证镜像模块的构建。 前置熟悉文章： Kafka SASL配置 & Demo测试 Kafka常用命令(带SASL权限版) First Try 由于Docker化的Kafka存在一定的缺陷和问题。第一次尝试的...
Kafka集群部署（docker容器方式）SASL认证（kafka和zookeeper）
HOKING的专栏
07-08 627
摘要：本文详细介绍了在CentOS 7.9系统上使用Docker Compose部署3节点Kafka集群的过程。环境包含Zookeeper 3.6.3和Wurstmeister Kafka 2.8.1镜像，配置了SASL认证机制。部署步骤包括创建目录结构、编写docker-compose.yaml文件、配置Zookeeper和Kafka的认证文件（zoo.cfg、server_jaas.conf等），并最终启动集群服务。文中还提供了Spring Boot连接Kafka集群的YAML配置示例。
docker-compose部署kafka、SASL模式(密码校验模式)_system
2301_82241942的博客
06-19 1555
Zookeeper作为Kafka的协调服务，负责管理集群的状态和配置。这个配置文件中，Zookeeper和Kafka都有详细的配置和环境变量设置，以适应特定的使用场景或安全需求。例如，SASL_PLAINTEXT是用于安全认证的协议，而SimpleAclAuthorizer则是一个简单的访问控制列表作者器，用于权限控制。这是一个Docker Compose文件，用于定义和运行多个Docker容器的应用。需要新建文件：server_jaas.conf，前两个是zk配置，后两个是kafka配置。
2024年大数据最全docker-compose部署kafka、SASL模式(密码校验模式)_system(1)
2401_84182507的博客
05-02 1420
} Client { org.apache.zookeeper.server.auth.DigestLoginModule required username=“admin” password=“123456”; };Server { org.apache.zookeeper.server.auth.DigestLoginModule required username=“admin” password=“123456” user_super=“123456” user_admin=“123456”; };
基于docker部署kafka-3.8.0版本，并开启SASL认证模式
m0_54138989的博客
02-06 1586
（2）修改 kafka-console-producer.sh 脚本 在脚本最上方增加如下代码。（2）修改 kafka-console-consumer.sh 脚本 在脚本最上方增加如下代码。（1）https://kafka.apache.org/downloads 下载如下图版本。（1）修改 kafka-server-start.sh 脚本 在脚本最上方增加如下代码。（3）修改server.properties 文件，增加下面信息，内容如下图。为topic增加SASL认证信息，指定认证机制为SASL。
KAFKA权限配置SASL/PLAIN身份验证
01-07
zookeeper集群SASL认证&KAFKA权限配置SASL/PLAIN身份验证 配置环境 JKD: 1.8 Kafka: 2.3.0 Zookeeper: 3.4.14 服务器名 kafka内网IP:PORT kafka外网IP:PORT zookeeper内网IP:PORT KAFKA01 192.168.1.157:9092 116.155.153.185:19092 192.168.1.157:2181 KAFKA02 192.168.1.158:9092 116.155.153.185:29092 192.168.1.157:2181 KAFKA03 192
Docker 运行 Kafka 带 SASL 认证教程
Guoye的专栏
06-10 1822
本文介绍了使用Docker运行带SASL认证的Kafka集群的完整方案。通过docker-compose.yml配置Zookeeper、Kafka和Kafdrop监控工具，实现SASL_PLAINTEXT认证。重点包括：1) Zookeeper和Kafka容器挂载server_jaas.conf认证配置文件；2) Kafka监听器配置内部/外部端口和SASL安全协议；3) Kafdrop监控工具需配置Base64编码的认证信息。文中还提供了具体配置示例和注意事项，如使用指定版本镜像替代latest标签。该方
kafka配置SASL_PLAINTEXT简单认证
菜鸡的博客
05-21 2177
项目配置方式ZooKeeper 启用鉴权zoo.cfgKafka 启用鉴权客户端连接 Kafka。
docker创建带SASL认证的kafka
haylee的专栏
11-01 3861
docker创建带SASL认证的kafka
Kafka4.0集群部署
cp252819的博客
07-08 2588
摘要：本文介绍了Kafka集群的部署配置方案，包含3台服务器节点（kafka01-03），每台同时作为controller和broker。详细说明了服务器配置步骤（主机名、IP地址、hosts解析）、JDK17安装、Docker环境准备，以及使用Docker Compose部署Kafka 4.0.0的具体方法，包括集群ID生成、节点角色配置、监听端口设置和数据持久化方案。重点讲解了KRaft模式下controller和broker的协同工作机制，以及通过环境变量动态覆盖配置的实现原理。
docker安装kafka并使用SASL 进行身份验证
jkzyx123的博客
10-17 2769
通过上述步骤，你可以使用 Docker 安装 Kafka 和 Zookeeper 并配置 SASL 认证机制。这个配置将确保 Kafka 和 Zookeeper 的通信通过SASL/PLAIN认证进行。通过 Docker Compose 可以轻松启动和管理 Kafka 集群，并保证高效的部署。
kafka用户认证与权限管理（SASL/PLAIN+ACL）
浪子天涯行世录
11-18 3004
Kafka 目前支持SSL、SASL/Kerberos、SASL/PLAIN三种认证机制 kafka的认证范围 kafka client 与 kafka server(broker) broker与broker之间 broker与zookeeper之间 zookpeer认证 在zookeeper安装根目录的conf目录下，创建zk_server_jaas.conf文件 Server {...
【docker-compose 跨节点部署 kafka-kraft SASL用户加密集群】全网最新！
分享大数据、java相关的技术
09-15 1873
docker 跨节点部署 kafka3.5.1 kraft集群
Docker部署Kafka并配置SASL认证详解
本文围绕“使用 Docker 运行 Kafka 并开启 SASL_PLAINTEXT 认证”这一主题，深入探讨了如何通过容器化技术构建一个具备身份验证能力的 Kafka 集群，涵盖了从环境准备到服务部署、再到客户端连接的完整流程。...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值