docker部署kafka单机开启sasl_plain

最新推荐文章于 2025-02-06 09:35:36 发布
最新推荐文章于 2025-02-06 09:35:36 发布
阅读量479 收藏
点赞数
文章标签： docker kafka 容器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/GHDHS_/article/details/134124163
版权

1 docker部署kafka单机版

Kafka官网：https://kafka.apache.org/

1.1 部署环境准备

linux环境、docker环境

部署环境配置版本下载链接
ECSCentOS 7.6一台2vCPUs|4GiB
docker19.03.9脚本

1.2 脚本使用

保存下面脚本内容到文件：install-kafka.sh

vim install-kafka.sh
chmod +x install-kafka.sh
source install-kafka.sh
#一键安装完成后可输入docker ps -a查看

1.3 脚本内容

#!/bin/bash
##################### 准备工作 #####################
#1.镜像拉取速度慢的话加镜像加速器脚本
#2.镜像加速器地址https://console.huaweicloud.com/swr/?region=cn-north-4#/swr/mirror
#3.注意修改IP地址&&根据自己需要修改挂载文件和文件变量
#4.修改broker的配置文件
#5.开启下面表格里的端口
#6.可视化的账户密码和端口视情况修改
#IP
ip=172.16.20.200
​
#宿主机文件（可修改）与容器文件（不可修改）
file=/opt/zookeeper                              #可修改
file1=/opt/bitnami/kafka                         #不可修改
​
#更改brokerid=0.1.2
VAR='broker.id=0' #节点id修改
​
#########################################################################################
​
#创建网络
docker network create app-tier 
​
#拉取镜像
docker pull bitnami/kafka:latest
​
#启动zookeeper
docker run -d --name zookeeper \
--network app-tier \
-p 2181:2181 \
-e ALLOW_ANONYMOUS_LOGIN=yes \
bitnami/kafka:latest \
$file1/bin/zookeeper-server-start.sh $file1/config/zookeeper.properties
​
#启动kafka
docker run -d --name kafka \
--network app-tier \
-p 9092:9092 \
-e ALLOW_PLAINTEXT_LISTENER=yes \
-e KAFKA_CFG_ZOOKEEPER_CONNECT=zookeeper:2181 \
-e KAFKA_CFG_BROKER_ID=0 \
-e KAFKA_CFG_LISTENERS=PLAINTEXT://:9092 \
-e KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://$ip:9092 \
bitnami/kafka:latest \
$file1/bin/kafka-server-start.sh $file1/config/server.properties
​
#复制kafka容器里的文件    
docker cp kafka:$file1 $file
​
#删除容器
docker stop zookeeper
docker rm zookeeper 
docker stop kafka
docker rm kafka 
​
#更换kafka配置文件名并添加sasl认证
mv $file/config/server.properties.original $file/config/server.properties
sed -i -e "s/broker.id=0/$VAR/g" $file/config/server.properties
sed -i -e '35a \listeners=PLAINTEXT://:9092' $file/config/server.properties
sed -i -e '39a \advertised.listeners=PLAINTEXT://'$ip':9092' $file/config/server.properties
sed -i -e 's|zookeeper.connect=.*|zookeeper.connect='$ip':2181|g' $file/config/server.properties
sed -i '$a \listeners=SASL_PLAINTEXT://:9092 \nadvertised.listeners=SASL_PLAINTEXT://'$ip':9092 \nsecurity.inter.broker.protocol=SASL_PLAINTEXT \nsasl.mechanism.inter.broker.protocol=PLAIN \nsasl.enabled.mechanisms=PLAIN \nauthorizer.class.name=kafka.security.authorizer.AclAuthorizer \nsuper.users=User:admin \nallow.everyone.if.no.acl.found=false' $file/config/server.properties
​
#部署zookeeper
sed -i -e '$a \server.1='$ip':2881:3881' $file/config/zookeeper.properties
​
#编辑kafka_server_jaas.conf
touch $file/config/kafka_server_jaas.conf
echo 'KafkaServer {' >> $file/config/kafka_server_jaas.conf
sed -i -e 'aorg.apache.kafka.common.security.plain.PlainLoginModule required \nusername="admin" \npassword="admin" \nuser_admin="admin" \nuser_kafka="kafka"; \n}; \nClient { \norg.apache.zookeeper.server.auth.DigestLoginModule required \nusername="kafka" \npassword="kafka"; \n};' $file/config/kafka_server_jaas.conf
​
#编辑kafka_client_jaas.conf
touch $file/config/kafka_client_jaas.conf
echo 'KafkaClient {' >> $file/config/kafka_client_jaas.conf
sed -i -e 'aorg.apache.kafka.common.security.plain.PlainLoginModule required \nusername="admin" \npassword="admin"; \n}; \nClient { \norg.apache.zookeeper.server.auth.DigestLoginModule required \nusername="admin" \npassword="admin"; \n};' $file/config/kafka_client_jaas.conf
​
#编辑zk_server_jaas.conf
touch $file/config/zk_server_jaas.conf
echo 'Server {' >> $file/config/zk_server_jaas.conf
sed -i -e '$a org.apache.zookeeper.server.auth.DigestLoginModule required \nusername="kafka" \npassword="kafka” \nuser_kafka="kafka"; \n};' $file/config/zk_server_jaas.conf
​
sed -i -e '29a \    export KAFKA_OPTS="-Djava.security.auth.login.config='$file1'/config/zk_server_jaas.conf -Dzookeeper.authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider -Dzookeeper.requireClientAuthScheme=sasl"' $file/bin/zookeeper-server-start.sh
​
#编辑内部客户端工具
sed -i -e '$a security.protocol=SASL_PLAINTEXT \nsasl.mechanism=PLAIN' $file/config/consumer.properties
sed -i -e '$a security.protocol=SASL_PLAINTEXT \nsasl.mechanism=PLAIN' $file/config/producer.properties
​
#修改Broker启动脚本
sed -i -e '30a \    export KAFKA_OPTS=" -Djava.security.auth.login.config='$file1'/config/kafka_server_jaas.conf"' $file/bin/kafka-server-start.sh
sed -i -e '18a \    export KAFKA_OPTS=" -Djava.security.auth.login.config='$file1'/config/kafka_client_jaas.conf"' $file/bin/kafka-console-producer.sh
sed -i -e '18a \    export KAFKA_OPTS=" -Djava.security.auth.login.config='$file1'/config/kafka_client_jaas.conf"' $file/bin/kafka-console-consumer.sh
​
#Topic_JAAS 文件加载 SASL 凭证
touch $file/config/config.properties
echo 'sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="admin" password="admin";' >> $file/config/config.properties
sed -i -e '$a security.protocol=SASL_PLAINTEXT \nsasl.mechanism=PLAIN' $file/config/config.properties
​
#JMX监控
sed -i -e '214,220c JMX_PORT=9997 \nJMX_RMI_PORT=9996 \nISKAFKASERVER="false" \nif [[ "$*" =~ "kafka.Kafka" ]]; then \n        ISKAFKASERVER="true" \nfi \nif [  $JMX_PORT ] && [ "true" == "$ISKAFKASERVER" ]; then \n        KAFKA_JMX_OPTS="$KAFKA_JMX_OPTS -Dcom.sun.management.jmxremote.port=$JMX_PORT -Dcom.sun.management.jmxremote.rmi.port=$JMX_RMI_PORT " \n        echo set KAFKA_JMX_PORT:$KAFKA_JMX_OPTS \nfi' $file/bin/kafka-run-class.sh
​
docker run -d --name zookeeper \
--network app-tier \
-p 2181:2181 \
-v $file:$file1 \
-e ALLOW_ANONYMOUS_LOGIN=yes \
-e KAFKA_OPTS="-Djava.security.auth.login.config=$file1/config/zk_server_jaas.conf" \
bitnami/kafka:latest \
$file1/bin/zookeeper-server-start.sh $file1/config/zookeeper.properties
​
docker run -d --name kafka \
--network app-tier \
-p 9092:9092 \
-p 9997:9997 \
-v $file:$file1 \
-e ALLOW_PLAINTEXT_LISTENER=yes \
-e JMX_PORT=9997 \
-e KAFKA_OPTS="-Djava.security.auth.login.config=$file1/config/kafka_server_jaas.conf" \
-e KAFKA_JMX_OPTS="-Dcom.sun.management.jmxremote=true -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Djava.rmi.server.hostname=$ip -Dcom.sun.management.jmxremote.port=9997" \
bitnami/kafka:latest \
$file1/bin/kafka-server-start.sh $file1/config/server.properties
​
#(注意更换主路径)
#启动生产者
#/opt/bitnami/kafka/bin/kafka-console-producer.sh --broker-list 172.16.20.142:9092 --topic test --producer.config /opt/bitnami/kafka/config/producer.properties
#创建消费者
#/opt/bitnami/kafka/bin/kafka-console-consumer.sh --bootstrap-server 172.16.20.142:9092 --topic test --from-beginning --consumer.config /opt/bitnami/kafka/config/consumer.properties
#创建topic
#/opt/bitnami/kafka/bin/kafka-topics.sh --create --bootstrap-server 172.16.20.142:9092 --partitions 2  --replication-factor 1 --topic test --command-config /opt/bitnami/kafka/config/config.properties
#查看topic
#/opt/bitnami/kafka/bin/kafka-topics.sh --list --bootstrap-server 172.16.20.142:9092 --command-config /opt/bitnami/kafka/config/config.properties

1.4 参数说明

zookeeper容器启动参数
参数说明
-d以守护进程的方式启动
--name zookeeper把容器的名字设置为kafka
--network app-tier创建网络
-p 2181:2181把容器内的端口2181挂载到宿主机2181上面，宿主机端口:容器内部端口
-v /opt/zookeeper:/opt/bitnami/kafka挂载启动文件
-e KAFKA_OPTS="-Djava.security.auth.login.config=/opt/bitnami/kafka/config/zk_server_jaas.conf"sasl开启
bitnami/kafka:latest使用的镜像名称+版本
/opt/bitnami/kafka/bin/zookeeper-server-start.sh /opt/bitnami/kafka/config/zookeeper.properties启动zookeeper服务
kafka容器启动参数
参数说明
-d以守护进程的方式启动
--name kafka把容器的名字设置为kafka
--network app-tier创建网络
-p 9092:9092把容器内的端口9092 挂载到宿主机9092 上面，宿主机端口:容器内部端口
-v /opt/zookeeper:/opt/bitnami/kafka挂载启动配置文件
-e KAFKA_OPTS="-Djava.security.auth.login.config=/opt/bitnami/kafka/config/kafka_server_jaas.conf"sasl文件启动
-e JMX_PORT=9997 \监控端口
-e KAFKA_JMX_OPTS="-Dcom.sun.management.jmxremote=true -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Djava.rmi.server.hostname=$ip -Dcom.sun.management.jmxremote.port=9997" \监控启动配置
bitnami/kafka:latest使用的镜像名称+版本
/opt/bitnami/kafka/bin/kafka-server-start.sh /opt/bitnami/kafka/config/server.properties启动kafka配置文件

1.5 部署完成和生产消费测试

docker logs 【容器名字】查看kafka的日志信息

查找Cluster ID

Topic创建

生产测试

消费测试

暗相信光
关注
Docker部署Kafka单机版
源滚滚编程
02-19 1646
下载UI工具：https://kafkatool.com/download2/offsetexplorer_64bit.exe。外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传。点击是，然后就成功的使用客户端连接上Kafka了。下载好以后按照默认进行安装。
基于docker搭建Kafka集群，使用KRaft方式搭建，摒弃Zookeeper
m0_54138989的博客
02-06 1077
环境：已成功搭建kafka服务 192.168.2.91 192.168.2.92 192.168.2.93。
【kafka】docker容器bitnami/kafka使用SASL鉴权（无TLS）
weixin_41855143的博客
05-01 3466
可以设置为一个新的listener，也可以设置为现有的listener（controller除外），本文就以设置现有的listener为例，将改值设置为。后来发现其实是可以单独使用SASL，而且官方文档没有完整的配置资料，最后在Issue上找到解决方案。最近在学习kafka消息队列，了解到kafka是通过SASL来进行用户认证的。参数的作用是一致的，都是为了设置broker之间通信的配置，由于。默认值的，但是这个值在容器使用中会出现错误，而且在。设置之后依然存在问题，本文暂不讨论，后续就以。
Docker 单机运行kafka
yaobo2816的专栏
07-12 401
. 启动zookeeper docker run -d --name zookeeper --publish 2181:2181 --volume /etc/localtime:/etc/localtime wurstmeister/zookeeper //启动kafka docker run -d --name kafka --publish 9092:9092 \ --link zookeeper \ --env KAFKA_ZOOKEEPER_CONNECT=192.168.121.20...
Docker 安装kafka 单机版本
小蜜蜂的博客
02-07 1482
一、安装Zookeeper 下载zookeeper镜像 docker pull wurstmeister/zookeeper 启动zookeeper docker run -d --name zookeeper --publish 2181:2181 --volume /etc/localtime:/etc/localtime wurstmeister/zookeeper 二、安装Kafka 下载kafka镜像，这里我选择2.11-0.11.0.3的版本 docker pull wurstmeister
docker安装运行kafka单机版
精灵鼠小强的博客
10-11 2036
docker安装运行kafka单机版 ​ 这里我们安装一下kafka的单机版，由于kafka是基于zk进行管理的，如果我们没有安装过zk的话，需要进行安装好zk再安装kafka，当然如果已经安装过了， 那就没必要安装了。我们可以执行docker images命令查看我们的zk镜像是否已经存在了。 1. docker拉取zookeeper镜像 2. docker拉取kafka镜像 3. 验证是否拉取镜像成功 4. 启动zookeeper容器 5. 启动kafka容器 6. 验证是否启动成功 7. 设置开机自
winds版kafka3.8.0增加SASL_PLAINTEXT 认证
a1011259215的博客
09-23 1562
kafka3.8.0 SASL_PLAINTEXT 认证 winds版本 配置简单
2024年大数据最全docker-compose部署kafka、SASL模式(密码校验模式)_system(1)
2401_84182507的博客
05-02 1290
} Client { org.apache.zookeeper.server.auth.DigestLoginModule required username=“admin” password=“123456”; };Server { org.apache.zookeeper.server.auth.DigestLoginModule required username=“admin” password=“123456” user_super=“123456” user_admin=“123456”; };
docker-compose部署kafka、SASL模式(密码校验模式)_system
2301_82241942的博客
06-19 1363
Zookeeper作为Kafka的协调服务，负责管理集群的状态和配置。这个配置文件中，Zookeeper和Kafka都有详细的配置和环境变量设置，以适应特定的使用场景或安全需求。例如，SASL_PLAINTEXT是用于安全认证的协议，而SimpleAclAuthorizer则是一个简单的访问控制列表作者器，用于权限控制。这是一个Docker Compose文件，用于定义和运行多个Docker容器的应用。需要新建文件：server_jaas.conf，前两个是zk配置，后两个是kafka配置。
docker创建kafka(带SASL认证)
zwjapple的专栏
08-17 3168
docker创建kafka，带用户名密码验证， python连接kafka验证
基于docker部署kafka-3.8.0版本，并开启SASL认证模式
m0_54138989的博客
02-06 1129
（2）修改 kafka-console-producer.sh 脚本 在脚本最上方增加如下代码。（2）修改 kafka-console-consumer.sh 脚本 在脚本最上方增加如下代码。（1）https://kafka.apache.org/downloads 下载如下图版本。（1）修改 kafka-server-start.sh 脚本 在脚本最上方增加如下代码。（3）修改server.properties 文件，增加下面信息，内容如下图。为topic增加SASL认证信息，指定认证机制为SASL。
bitnami-docker-kafka：用于Kafka的Bitnami Docker映像
02-05
bitnami-docker-kafka：用于Kafka的Bitnami Docker映像
使用Docker单点安装部署Kafka
pengjunlee的博客
01-03 2440
CentOS上直接安装部署Kafka请参考：https://blog.youkuaiyun.com/pengjunlee/article/details/103258121 本篇主要介绍如何使用Docker安装部署Kafka。 安装Zookeeper 下载JDK安装包 由于在Apache官网下载JDK时需要作安全验证，使用 wget 命令下载经常会失败，所以在这里推荐自己手动到官网下载一下JDK安装包...
docker 部署 Kafka 单机和集群
菜鸡的博客
01-15 2739
如果未安装，可以访问 Docker 官网下载并安装 Docker Desktop（Windows 和 Mac）或使用包管理器安装（Linux）。
Docker部署系列：Kafka单机部署
CancerKing的博客
01-08 844
Docker部署系列：Kafka单机部署
Kafka（一）使用Docker Compose安装单机Kafka以及Kafka UI_docker 部署单机kafka
2401_84166396的博客
04-08 1059
化！**
docker创建带SASL认证的kafka
yztezhl的专栏
11-01 3409
docker创建带SASL认证的kafka
kafka3.5.1（raft版本 sasl认证）集群docker部署
fly7632785的专栏
02-21 1308
Kafka分布式消息队列集群，kafka的三个节点分别坐落在三台主机上。
基于docker的kafka3.0集群配置(Kraft模式)
weixin_44320761的博客
09-16 3508
基于docker的kafka3.0集群配置(Kraft模式)
Docker-compose部署Kafka，并开启SASL/PLAIN认证
最新发布
03-13
### 使用 Docker Compose 部署 Kafka 并启用 SASL/PLAIN 认证 为了使用 Docker Compose 启动带有 SASL/PLAIN 身份验证的 Apache Kafka 实例，需要对 `docker-compose.yml` 文件以及 Kafka 和 ZooKeeper 的配置文件...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值