手把手教你搭建Kafka(带SASL认证)+ELK集群 - 三 Kafka集群安装

最新推荐文章于 2025-10-02 12:25:34 发布

原创

最新推荐文章于 2025-10-02 12:25:34 发布 · 1.2k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#Kafka #ELK #SASL

本文详细指导如何在服务器上部署Kafka，包括创建kafka用户、配置SASL认证、设置监听和Zookeeper连接，同时介绍了如何为Logstash和Beats创建账号并授权，最后部署Kafka-Eagle作为管理界面。

接上一篇

手把手教你搭建Kafka(带SASL认证)+ELK集群 - 二

https://blog.youkuaiyun.com/lwlfox/article/details/119801897

部署Kafka

创建kafka 用户
```
useradd kafka
```

将kafka_2.13-2.8.0.tgz 文件上传到服务器并解压到/data目录中

tar -zxvf kafka_2.13-2.8.0.tgz -C /data/ && chown -R kafka:kafka /data/kafka_2.13-2.8.0

将以下文件的内容写入到: /data/kafka_2.13-2.8.0/config/kafka_server_jaas.conf,其中KafkaServer段是用于kafka broker节点间通讯使用的认证信息，Client段是Kafka broker连接Zookeeper集群时使用的认证信息，用户名密码需要和zookeeper jaas配置文件中的Server段一致。
```
KafkaServer {
org.apache.kafka.common.security.scram.ScramLoginModule required
username="admin"
password="admin";
};

Client {
       org.apache.zookeeper.server.auth.DigestLoginModule required
       username="client"
       password="client";
};
```

在kafka的启动脚本/data/kafka_2.13-2.8.0/bin/kafka-server-start.sh中添加下面的内容

export SECURITY_OPTS="-Djava.security.auth.login.config=/data/kafka_2.13-2.8.0/config/kafka_server_jaas.conf"
export KAFKA_OPTS="$SECURITY_OPTS $KAFKA_OPTS"

用以下内容覆盖原本的/data/kafka_2.13-2.8.0/config/server.properties文件

# 设置监听使用SASL_PLAINTEXT而不是SASL_SSL，就是明文传输，在公司的网络里面应该没有问题的，如果要对外可能需要SSL
listeners=SASL_PLAINTEXT://10.50.0.36:9092 #节点的内部IP
advertised.listeners=SASL_PLAINTEXT://10.228.82.156:9092 #节点的弹性IP

# Zk连接设置
zookeeper.connect=10.2

最低0.47元/天解锁文章