kafka的sasl权限管理

最新推荐文章于 2025-02-02 00:48:33 发布

JeitZz

最新推荐文章于 2025-02-02 00:48:33 发布

阅读量1k

点赞数

分类专栏： Kafka 大数据工具文章标签： kafka big data 分布式

本文链接：https://blog.youkuaiyun.com/JeitZz/article/details/125100374

版权

大数据工具同时被 2 个专栏收录

4 篇文章

订阅专栏

Kafka

1 篇文章

订阅专栏

本文详细介绍了如何配置Kafka和Zookeeper以实现SASL权限管理，包括修改配置文件、创建JAAS文件、导入jar包、设置认证机制、授权操作以及客户端配置等步骤，确保了生产者和消费者的权限控制。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

kafka的sasl权限管理

一.配置zookeeper

1.修改zoo.cfg

在文件末尾添加

authProvider.<IdOfBroker1>=org.apache.zookeeper.server.auth.SASLAuthenticationProvider #IdOfBroker是指ZK节点的myid
requireClientAuthScheme=sasl
jaasLoginRenew=3600000
zookeeper.sasl.client=true

2.在conf目录下新增配置文件JAAS，

touch zoo_jaas.conf

vim zoo_jaas.conf

添加以下内容

Server {
    org.apache.kafka.common.security.plain.PlainLoginModule required
    username="admin"
    password="admin"
    user_kafka="kafka@123";
};

3.将kafka认证相关的jar包导入到zookeeper

在zookeeper目录下创建存放jar包的目录 zk_sasl_lib，然后将kafka中的jar包拷贝到当前目录下

kafka-clients-3.0.0.jar
lz4-java-1.7.1.jar
slf4j-api-1.7.30.jar
slf4j-log4j12-1.7.30.jar
snappy-java-1.1.8.1.jar

4.修改zkEnv.sh

for jar in /home/hadoop/software/zookeeper-3.5.7/zk_sasl_lib/*.jar;
do
   CLASSPATH="$jar:$CLASSPATH"
done

export SERVER_JVMFLAGS="-Xmx${ZK_SERVER_HEAP}m $SERVER_JVMFLAGS -Djava.security.auth.login.config=/home/hadoop/software/zookeeper-3.5.7/conf/zoo_jaas.conf"

然后重启zookeeper

二.配置kafka

1.新建 kafka_server_jaas.conf文件

放在kafka的config目录下

KafkaServer {
 org.apache.kafka.common.security.plain.PlainLoginModule required
 username="admin"
 password="admin@123"
 user_admin="admin@123"
 user_producer="producer@123"
 user_consumer="consumer@123";
};
Client{
 org.apache.kafka.common.security.plain.PlainLoginModule required
 username="kafka"
 password="kafka@123";
};

Client的username和password要与zookeeper配置的jaas文件一致

2.修改server.properties文件

listeners=SASL_PLAINTEXT://localhost:9092
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.mechanism.inter.broker.protocol=PLAIN
sasl.enabled.mechanisms=PLAIN
allow.everyone.if.no.acl.found=false
authorizer.class.name=kafka.security.authorizer.AclAuthorizer
#kafka3.0版本之后用kafka.security.authorizer.AclAuthorizer 3.0之前用kafka.security.auth.SimpleAclAuthorizer
super.users=User:admin

3.修改启动脚本

修改kafka-server-start.sh文件

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G -Djava.security.auth.login.config=/home/hadoop/software/kafka_2.12-3.0.0/config/kafka_server_jaas.conf"
fi

在kafka的config目录下创建文件kafka_producer_jaas.conf，添加以下内容

KafkaClient {
 org.apache.kafka.common.security.plain.PlainLoginModule required
 username="producer"
 password="producer@123";
};

创建kafka_consumer_jaas.conf，添加内容

KafkaClient {
 org.apache.kafka.common.security.plain.PlainLoginModule required
 username="consumer"
 password="consumer@123";
};

修改kafka-console-producer.sh

exec $(dirname $0)/kafka-run-class.sh -Djava.security.auth.login.config=/home/hadoop/software/kafka_2.12-3.0.0/config/kafka_producer_jaas.conf kafka.tools.ConsoleProducer "$@"

修改kafka-console-consumer.sh

exec $(dirname $0)/kafka-run-class.sh -Djava.security.auth.login.config=/home/hadoop/software/kafka_2.12-3.0.0/config/kafka_consumer_jaas.conf kafka.tools.ConsoleConsumer "$@"

4.修改客户端配置信息

在producer.properties和consumer.properties中添加认证机制

security.protocol=SASL_PLAINTEXT
sasl.mechanism=PLAIN

在consumer.properties中加入分组配置

group.id=test-group

5.授权

创建主题

./bin/kafka-topics.sh --create --bootstrap-server 192.168.2.128:9092 --replication-factor 1 --partitions 3 --topic test1

查看主题

./bin/kafka-topics.sh --list --bootstrap-server 192.168.2.128:9092

增加生产权限

./bin/kafka-acls.sh --authorizer-properties zookeeper.connect=192.168.2.134:2181,192.168.2.135:2181,192.168.2.136:2181,192.168.2.137:2181,192.168.2.138:2181 --add --allow-principal User:producer --operation Write --topic test

增加消费权限

./bin/kafka-acls.sh --authorizer-properties zookeeper.connect=192.168.2.134:2181,192.168.2.135:2181,192.168.2.136:2181,192.168.2.137:2181,192.168.2.138:2181 --add --allow-principal User:consumer --operation Read --topic test

配置消费分组权限

./bin/kafka-acls.sh --authorizer-properties zookeeper.connect=192.168.2.134:2181,192.168.2.135:2181,192.168.2.136:2181,192.168.2.137:2181,192.168.2.138:2181 --add --allow-principal User:consumer --operation Read --group test-group

查看配置信息

./bin/kafka-acls.sh --authorizer-properties zookeeper.connect=192.168.2.134:2181,192.168.2.135:2181,192.168.2.136:2181,192.168.2.137:2181,192.168.2.138:2181 --list

生产数据

./bin/kafka-console-producer.sh --broker-list 192.168.2.128:9092 --topic test --producer.config ./config/producer.properties

消费数据

./bin/kafka-console-consumer.sh --bootstrap-server 192.168.2.128:9092 --topic test --from-beginning --consumer.config ./config/consumer.properties