简述一下kafka的安全机制

最新推荐文章于 2025-11-02 19:41:05 发布
原创 最新推荐文章于 2025-11-02 19:41:05 发布 · 1.5k 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kafka #安全

Kafka 支持身份认证和权限控制，主要通过以下几种机制来确保安全性：

1. 身份认证（Authentication）

Kafka支持基于 SASL（Simple Authentication and Security Layer） 和 SSL（Secure Sockets Layer） 的身份认证：

  • SASL：支持多种机制，如 PLAIN、SCRAM-SHA-256、SCRAM-SHA-512、GSSAPI（Kerberos）。
  • SSL/TLS：可以使用SSL证书对客户端和服务器进行双向认证。

2. 权限控制（Authorization）

Kafka提供基于 ACL（Access Control List，访问控制列表） 的权限管理，权限级别包括：

  • Read：允许消费者消费消息
  • Write：允许生产者发送消息
  • Create：允许创建主题
  • Describe：允许查看集群或主题的元数据

Kafka使用 Zookeeper 来存储ACL信息，可以通过 kafka-acls.sh 命令行工具管理权限。

3. 数据加密（Encryption）

  • SSL/TLS加密：可以加密Kafka的网络通信，防止数据被窃听。
  • 磁盘加密：Kafka本身不提供磁盘加密，但可以使用操作系统或文件系统级别的加密机制。

4. 多租户安全

Kafka支持为不同的租户或应用设置独立的权限，确保数据隔离，防止未经授权的访问。

适用场景

  • 企业级Kafka集群，需要身份认证和权限控制，防止未经授权的访问。
  • 金融、医疗等行业，对数据安全性要求高，需要数据加密和访问控制。

下面是一个使用 Kafka + SASL/SSL 进行身份认证的 Java 生产者和消费者示例。

1. Kafka 服务器端配置（server.properties）

在 Kafka 服务器端，需要启用 SASL_PLAINTEXT 认证机制，并配置 ACL 权限。

listeners=SASL_PLAINTEXT://:9092
advertised.listeners=SASL_PLAINTEXT://localhost:9092
security.inter.broker.protocol=SASL_PLAINTEXT

# 配置认证方式
sasl.mechanism.inter.broker.protocol=PLAIN
authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer
super.users=User:admin

# 启用ACL权限控制
allow.everyone.if.no.acl.found=false

2. 配置 Kafka 客户端的 jaas.conf

Kafka 需要使用 JAAS（Java Authentication and Authorization Service）来进行身份认证。

创建 kafka_client_jaas.conf 文件：

KafkaClient {
    org.apache.kafka.common.security.plain.PlainLoginModule required
    username="testuser"
    password="testpassword";
};

注意：

  • username="testuser" 和 password="testpassword" 需要与 Kafka 服务器的 ACL 认证信息匹配。
  • 这个文件可以通过 -Djava.security.auth.login.config=/path/to/kafka_client_jaas.conf 方式加载。

3. Java 生产者代码（Kafka Producer）

import org.apache.kafka.clients.producer.*;

import java.util.Properties;

public class SecureKafkaProducer {
    public static void main(String[] args) {
        String topic = "secure_topic";

        // Kafka 配置
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("acks", "all");
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

        // SASL 认证配置
        props.put("security.protocol", "SASL_PLAINTEXT");
        props.put("sasl.mechanism", "PLAIN");

        // 创建生产者
        Producer<String, String> producer = new KafkaProducer<>(props);

        try {
            for (int i = 0; i < 5; i++) {
                ProducerRecord<String, String> record = new ProducerRecord<>(topic, "key-" + i, "Secure message " + i);
                producer.send(record, (metadata, exception) -> {
                    if (exception == null) {
                        System.out.println("Sent message: " + record.value() + " to partition " + metadata.partition());
                    } else {
                        exception.printStackTrace();
                    }
                });
            }
        } finally {
            producer.close();
        }
    }
}

4. Java 消费者代码（Kafka Consumer）

import org.apache.kafka.clients.consumer.*;

import java.time.Duration;
import java.util.Collections;
import java.util.Properties;

public class SecureKafkaConsumer {
    public static void main(String[] args) {
        String topic = "secure_topic";

        // Kafka 配置
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("group.id", "secure_group");
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

        // SASL 认证配置
        props.put("security.protocol", "SASL_PLAINTEXT");
        props.put("sasl.mechanism", "PLAIN");

        // 创建消费者
        Consumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Collections.singletonList(topic));

        try {
            while (true) {
                ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(1000));
                for (ConsumerRecord<String, String> record : records) {
                    System.out.printf("Received message: key=%s, value=%s, partition=%d, offset=%d%n",
                            record.key(), record.value(), record.partition(), record.offset());
                }
            }
        } finally {
            consumer.close();
        }
    }
}

5. 运行 Java 代码

  1. 启动 Kafka，并确保 SASL 配置生效。
  2. 运行生产者：
    java -Djava.security.auth.login.config=kafka_client_jaas.conf SecureKafkaProducer
  3. 运行消费者：
    java -Djava.security.auth.login.config=kafka_client_jaas.conf SecureKafkaConsumer

总结

  • Kafka 服务器端 需要启用 SASL_PLAINTEXT 认证，并配置 ACL 权限。
  • 客户端（生产者/消费者） 需要指定 security.protocol 和 sasl.mechanism。
  • JAAS 配置 用于存储 Kafka 认证信息。

这样，Kafka 的身份认证机制就成功生效了。
如果你是 本地开发 环境使用 Kafka 认证机制，建议按以下步骤配置和运行，以便快速测试 SASL_PLAINTEXT 认证。

1. 安装 Kafka 并启用 SASL 认证

确保你已经安装了 Kafka，并且 kafka-server-start.sh 可以正常启动。

修改 config/server.properties，添加如下配置：

# 监听SASL_PLAINTEXT
listeners=SASL_PLAINTEXT://localhost:9092
advertised.listeners=SASL_PLAINTEXT://localhost:9092
security.inter.broker.protocol=SASL_PLAINTEXT

# 启用SASL PLAIN认证
sasl.mechanism.inter.broker.protocol=PLAIN
sasl.enabled.mechanisms=PLAIN

# 配置ACL权限控制
authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer
allow.everyone.if.no.acl.found=false
super.users=User:admin

解释：

  • listeners & advertised.listeners：Kafka 监听的地址和端口。
  • security.inter.broker.protocol：Kafka 内部通信使用 SASL_PLAINTEXT。
  • sasl.enabled.mechanisms=PLAIN：启用 SASL/PLAIN 认证机制。

2. 配置 Kafka 的 JAAS 认证

创建 config/kafka_server_jaas.conf：

KafkaServer {
    org.apache.kafka.common.security.plain.PlainLoginModule required
    username="admin"
    password="admin-secret"
    user_admin="admin-secret"
    user_testuser="testpassword";
};

解释：

  • username="admin"：Kafka 进程运行的账号。
  • user_testuser="testpassword"：为 testuser 账号设置密码，客户端将使用此账号认证。

然后，在 config/kafka-run-class.sh 末尾追加：

export KAFKA_OPTS="-Djava.security.auth.login.config=/path/to/kafka_server_jaas.conf"

或者 在启动 Kafka 时指定：

export KAFKA_OPTS="-Djava.security.auth.login.config=/path/to/kafka_server_jaas.conf"
bin/kafka-server-start.sh config/server.properties

3. 配置 Kafka ACL 访问控制

创建一个 Kafka 主题：

bin/kafka-topics.sh --create --topic secure_topic --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1

给 testuser 账号赋予生产和消费权限：

bin/kafka-acls.sh --bootstrap-server localhost:9092 --add --allow-principal User:testuser --operation All --topic secure_topic

解释：

  • --allow-principal User:testuser 允许 testuser 访问 secure_topic。

4. 配置 Java 客户端

创建 kafka_client_jaas.conf：

KafkaClient {
    org.apache.kafka.common.security.plain.PlainLoginModule required
    username="testuser"
    password="testpassword";
};

运行 Java 程序时，通过 -Djava.security.auth.login.config 指定此文件。

5. Java 生产者代码

import org.apache.kafka.clients.producer.*;
import java.util.Properties;

public class SecureKafkaProducer {
    public static void main(String[] args) {
        String topic = "secure_topic";

        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("acks", "all");
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

        // SASL 认证配置
        props.put("security.protocol", "SASL_PLAINTEXT");
        props.put("sasl.mechanism", "PLAIN");

        Producer<String, String> producer = new KafkaProducer<>(props);

        try {
            for (int i = 0; i < 5; i++) {
                ProducerRecord<String, String> record = new ProducerRecord<>(topic, "key-" + i, "Secure message " + i);
                producer.send(record, (metadata, exception) -> {
                    if (exception == null) {
                        System.out.println("Sent message: " + record.value() + " to partition " + metadata.partition());
                    } else {
                        exception.printStackTrace();
                    }
                });
            }
        } finally {
            producer.close();
        }
    }
}

运行生产者

java -Djava.security.auth.login.config=kafka_client_jaas.conf SecureKafkaProducer

6. Java 消费者代码

import org.apache.kafka.clients.consumer.*;
import java.time.Duration;
import java.util.Collections;
import java.util.Properties;

public class SecureKafkaConsumer {
    public static void main(String[] args) {
        String topic = "secure_topic";

        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("group.id", "secure_group");
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

        // SASL 认证配置
        props.put("security.protocol", "SASL_PLAINTEXT");
        props.put("sasl.mechanism", "PLAIN");

        Consumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Collections.singletonList(topic));

        try {
            while (true) {
                ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(1000));
                for (ConsumerRecord<String, String> record : records) {
                    System.out.printf("Received message: key=%s, value=%s, partition=%d, offset=%d%n",
                            record.key(), record.value(), record.partition(), record.offset());
                }
            }
        } finally {
            consumer.close();
        }
    }
}

运行消费者

java -Djava.security.auth.login.config=kafka_client_jaas.conf SecureKafkaConsumer

7. 验证

  • 生产者 应该能成功发送消息到 secure_topic。
  • 消费者 应该能接收到消息。

如果报 org.apache.kafka.common.errors.TopicAuthorizationException，请检查 ACL：

bin/kafka-acls.sh --bootstrap-server localhost:9092 --list

然后为 testuser 赋予权限：

bin/kafka-acls.sh --bootstrap-server localhost:9092 --add --allow-principal User:testuser --operation All --topic secure_topic

总结

在 本地开发 环境下，启用 Kafka SASL_PLAINTEXT 认证的完整流程：

  1. 配置 Kafka 服务器（server.properties）开启 SASL 认证。
  2. 创建 kafka_server_jaas.conf 并加载到 Kafka 进程。
  3. 创建 ACL 规则，给 testuser 授权访问 secure_topic。
  4. 创建 kafka_client_jaas.conf，用于 Java 生产者/消费者认证。
  5. 运行 Java 代码，并用 -Djava.security.auth.login.config 指定认证文件。

这样，你的本地 Kafka 就具备了 身份认证（SASL_PLAINTEXT）+ 权限控制（ACL） 机制！如果你还需要 SSL 加密 或 更复杂的认证机制（Kerberos、SCRAM），可以再进一步配置。🎯

【Kafka集群】Kafka针对用户做ACL权限控制
后端研发工程师Marion的博客
05-18 5712
在 Kafka 3.3.1 中，可以使用 ACL（Access Control List）控制用户对 topic 的访问权限。在命令行中执行以下命令创建一个名为my-topic其中是一种内置的 ACL 校验器，User:admin是一组超级管理员。如果没有在配置文件中指定 super.users，则只有在 Zookeeper 上配置了访问控制时才会应用 ACL 规则。b. 为特定用户或组添加 ACL 规则现在，开发人员组可以对该 topic 进行读写操作。
kafka Acl权限管理
weixin_40496191的博客
04-16 6221
文章目录一、背景二、操作指令三、ACL权限整合springboot四、Acl整合java代码 一、背景 实现对主题的订阅控制，动态分配客户端的读写权限。 二、操作指令 创建writer用户，密码是writer-pwd: ./kafka-configs.sh --zookeeper 192.168.248.100:2181 --alter --add-config 'SCRAM-SHA-256=[iterations=8192,password=writer-pwd],SCRAM-SHA-512=[pas
Kafka权限管理：ACL配置全指南，HarmonyOS ArkTS深度解析：从语法特性到UI开发实践。
最新发布
2501_93981217的博客
11-02 433
Kafka 的访问控制列表（ACL）是基于资源的权限管理系统，允许管理员精确控制用户或客户端对 Topic、Group、Cluster 等资源的操作权限。通过以上步骤，可实现 Kafka 集群的精细化权限管理，平衡安全性与灵活性。创建 JAAS 文件（如。
kafka2.x版本配置SSL进行加密和身份验证
heming20122012的专栏
03-19 4128
与步骤 1 中存储每台机器自己的身份的密钥库不同，客户机的信任库存储客户机应信任的所有证书。您可以使用单个 CA 对集群中的所有证书进行签名，并让所有计算机共享信任该 CA 的同一信任库。因此，只要 CA 是真实且受信任的颁发机构，客户端就可以高度保证它们连接到真实的计算机。部署一个或多个支持 SSL 的代理的第一步是为集群中的每台计算机生成密钥和证书。完成第一步后，群集中的每台计算机都有一个公钥-私钥对，以及一个用于标识计算机的证书。生成的 CA 只是一个公钥-私钥对和证书，它旨在对其他证书进行签名。
Kafka安全机制详解（认证、鉴权、配置、代码示例）
哦，原来你也在这里。
04-21 3034
本文以版本为示例，配合Zookeeper，全面的讲解与Kafak安全机制相关的认证、鉴权、配置、C++/Python/Java代码示例。
Kafka安全机制
鸭梨的博客
10-17 1288
在0.9版本之前，Kafka集群是没有安全机制的。首先，客户端获取Zookeeper系统连接地址后，通过访问Zookeeper系统中的元数据信息来获取Kafka集群地址；然后，客户端可以直接连接到Kafka集群，访问Kafka集群上的所有主题，并对主题进行管理员操作。 由于没有限制，一些重要的业务主题就会存在安全性问题。例如泄露敏感数据、删除主题、修改分区等。 基于这类场景考虑，在0.9版本之后，Kafka系统新增了两种安全机制——身份验证和权限控制，来确保存储数据的安全性。 身份验证 在Kafka系统中，
简述kafka
m0_51660523的博客
08-30 457
目录 1、如何获取topic 主题的列表 2、生产者和消费者的命令行是什么？ 3、consumer 是推还是拉？ 4、kafka 维护消费状态跟踪的方法 5、讲一下主从同步** 6、为什么需要消息系统，mysql 不能满足需求吗？ 7、Zookeeper 对于Kafka 的作用是什么？ 8、数据传输的事务定义有哪三种？ 9、Kafka 判断一个节点是否还活着有那两个条件？ 10、Kafka 与传统MQ消息系统之间有三个关键区别 11、kafka 的ack 的三种机制 12、消费...
看完这篇Kafka，你也许就会了Kafka
热门推荐
AaronCao
01-13 19万+
Kafka学习 文章目录Kafka学习1. Kafka简介1.1 Kafka消费模式1.2 Kafka的基础架构1.3 Kafka的安装和使用2. Kafka高级2.1 工作流程2.2 文件存储2.3 生产者分区策略2.4 生产者ISR2.4.1 副本数据同步策略2.4.2 ISR(同步副本集)2.5 生产者ack机制2.6 数据一致性问题2.7 ExactlyOnce3. 消费者分区分配策略3.1 分区分配策略3.2 消费者offset的存储3.3 消费者组案例4. 高效读写&Zookeeper作
Kafka
HK的博客
01-19 1935
Kafka
Kafka之一：Kafka简述
落落free的博客
05-17 1432
Kafka之：Kafka简述 文章目录Kafka之：Kafka简述一、消息队列1. 消息队列简述2. 消息队列的特点二、Kafka简述1. 什么是Kafka2. Kafka的基本概念3. Kafka的partitions设计目的4. Kafka的Message5. Kafka设计原理实现6. Kafka的存储策略三、Kafka架构1. Kafka系统架构2. Kafka部署架构3. Kafka集...
kafka
javajy的博客
11-12 1036
kafka面试题总结
kafka 配置kerberos安全认证
01-28
这个里面是kafka配置kerberos的详细步骤，其方式也可以应用到kafka自带的认证体系
大数据Hadoop之——Kafka安全机制（Kafka SSL认证实现）
匠人精神，持之以恒！
06-12 3023
Kafka0.9.0开始引入丰富的安全认证机制，实现基础安全用户认证，将kafka上云或进行多租户管理的必要步骤安全，目前kafka支持`SASL`、`SSL`、`Delegation Token`这三种认证机制。
kafka安全机制（SASL_SCRAM）
qq_44062110的博客
03-07 3693
zookeeper和kafka在默认情况下，是没有开启安全认证的，那么任意客户端可以在不需要任何身份认证的情况下访问zookeeper和kafka下的各节点，甚至可以进行节点的增加，修改以及删除的动作。除了最基本的身份认证以外，还有针对每个节点的权限访问，但本文不涉及该话题。如果是集群模式，那么只需要对单机模式的配置文件做相应的修改即可：确保集群中每个broker的broker.id配置参数的值不一样，以及listeners配置参数也需要修改为与broker对应的IP地址或域名，之后就可以各自启动服务。
Kafka 安全机制
weixin_38424594的博客
12-08 1398
Kafka 安全机制 kafka的安全机制是一个保护kafka的数据不对外暴露的一种策略,相当于隐藏了数据本身的接口,客户端消费数据的时候必须走安全机制才能正常有效的访问到数据本身,一般相对数据安全性要求较高或者订单,用户私密的信息的数据,建议开启,开启了以后,将会影响kafka的性能 20%左右.所以开启的时候慎重 step1: 服务端生成秘钥. 首先得找到一个存放秘钥的地址,一般要放在server端和kafka的data一起都可以,过程需要你的用户名和密码,以及城市国家,公司等一些信息 创建密钥仓库，用
kafka安全机制
u011624157的专栏
08-24 1256
== SSL或SASL概念普及，SASL全称Simple Authentication and Security Layer，是一种用来扩充C/S模式验证能力的机制。SSL(Secure Sockets Layer 安全套接字协议),及其继任者传输层安全（Transport Layer Security，TLS）是为网络通信提供安全及数据完整性的一种安全协议。== 在0.9.0.0版中，Kafka社区添加了SSL或SASL对来自客户端（生产者和消费者），其他代理和工具的代理的连接进行身份验证。Kafka支持
Kafka安全模式之身份认证
weixin_42556307的博客
02-27 4855
SASL-PLAIN方式是一个经典的用户名/密码的认证方式，其中用户名和密码是以明文形式保存在服务端的JAAS配置文件中的，当客户端使用PLAIN模式进行认证时，密码是明文传输的，因此安全性较低，但好处是足够简单，方便我们对其进行二次开发，在0.10版本引入。在kafka身份认证的过程中，需要的principal，keytab，ServiceName等信息均配置在jaas文件中，因此保证认证的服务可以读取到正确的文件及正确的配置是kafka安全模式下认证的核心。解决办法是找第三方提供。
kafka安全认证与授权（SASL-PLAIN）
Innocence_0的博客
02-25 2068
网络安全行业产业以来，随即新增加了几十个网络安全行业岗位︰网络安全专家、网络安全分析师、安全咨询师、网络安全工程师、安全架构师、安全运维工程师、渗透工程师、信息安全管理员、数据安全工程师、网络安全运营工程师、网络安全应急响应工程师、数据鉴定师、网络安全产品经理、网络安全服务工程师、网络安全培训师、网络安全审计员、威胁情报分析工程师、灾难恢复专业人员、实战攻防专业人员…这是通过在规则末尾添加“/L”来完成的。这是一个争议比较大的问题，有的人会建议先学编程，而有的人会建议先学计算机基础，其实这都是要学的。
Kafka 安全机制详解及配置指南
私聊前往站内信：https://i.youkuaiyun.com/#/msg/chat/weixin_44976692
09-19 1万+
Kafka 支持多种安全机制，能够满足不同安全需求的场景。Kafka 作为分布式消息流平台，在处理高吞吐量的同时，也提供了多种安全机制来保证数据传输的安全性。本文详细介绍了几种常见的认证和加密方式（PLAINTEXT、SASL_PLAINTEXT、SASL_SSL、JAAS），并解释了如何在 Kafka 中配置这些安全机制。选择合适的认证和加密方式至关重要。在生产环境中，我们推荐使用 SASL_SSL 这样的强认证和加密机制，以确保 Kafka 集群在传输中的安全性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

蘋天纬地

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值