Kafka:集群SSL安全机制详解

Kafka SASL_SSL双重认证 kafka提供了多种安全认证机制,主要分为SASL和SSL两大类。在 Kafka 中启用 SASL_SSL 安全协议时,SASL 用于客户端和服务器之间的身份验证,SSL 则用于加密和保护数据的传输。不仅提供身份验证,还提供加密和数据保护的功能。因工作需要,需要在测试环境搭建一套基于SASL_SSL协议的kafka环境。坑比较多,经过两天的研究终于搞定了,特在此记录下。 阅读详情

Kafka安全机制核心架构


1 ) 安全机制分类

Kafka提供两大安全机制:SSL/TLS加密传输 和 SASL身份认证。生产环境中,SSL更常用,因其通过证书体系保障数据传输安全,适用于跨团队服务调用(如电商平台与数据平台交互)。

2 ) 性能损耗说明

启用SSL会导致 20%-30%的性能损耗(实测数据)。内网环境可通过防火墙隔离保障安全,但跨团队协作需强制启用SSL。

3 ) 安全层级划分

  • Broker-Client链路:必须加密(客户端可能不可信)
  • Broker-ZooKeeper链路:通常内网可信,无需加密(避免ZK性能瓶颈)

SSL证书生成全流程(OpenSSL)


# 1. 创建CA证书
openssl req -new -x509 -keyout ca.key -out ca.crt -days 365 -subj "/C=CN/ST=Beijing/O=MK"
 
# 2. 生成服务器密钥和证书签名请求(CSR)
openssl req -new -keyout server.key -out server.csr -subj "/C=CN/ST=Beijing/O=MK/CN=mk.imq.com"
 
# 3. CA签署服务器证书
openssl x509 -req -in server.csr -CA ca.crt -CAkey ca.key -CAcreateserial -out server.crt -days 365
 
# 4. 合并PEM文件(NestJS所需)
cat server.crt server.key > server.pem 

关键点:

  • 使用 PEM格式(替代Java的JKS)适配Node.js生态
  • 国家代码(C)、省份(ST)、组织(O)、域名(CN)需与业务匹配

Kafka Broker SSL配置


config/server.properties 核心配置:

listeners=PLAINTEXT://:9092,SSL://:8899
advertised.listeners=PLAINTEXT://kafka1:9092,SSL://kafka1:8899 
 
ssl.keystore.location=/opt/ca-tmp/server.pem  # PEM文件路径
ssl.keystore.password=your_password
ssl.key.password=your_password 
ssl.truststore.location=/opt/ca-tmp/ca.crt    # CA证书路径
ssl.truststore.password=your_password
ssl.client.auth=required                      # 强制客户端认证

验证命令:

openssl s_client -debug -connect localhost:8899
出现证书详情即配置成功

NestJS客户端SSL集成方案


安装依赖:

npm install kafkajs @nestjs/microservices

1 ) 方案1:基础生产者/消费者
kafka-client.module.ts:

import { Module } from '@nestjs/common';
import { ClientsModule, Transport } from '@nestjs/microservices';
 
@Module({
  imports: [
    ClientsModule.register([
      {
        name: 'KAFKA_SERVICE',
        transport: Transport.KAFKA,
        options: {
          client: {
            brokers: ['kafka1:8899'],
            ssl: {
              ca: [readFileSync('/path/to/ca.crt')],
              key: readFileSync('/path/to/server.key'),
              cert: readFileSync('/path/to/server.crt'),
              rejectUnauthorized: true
            }
          },
          consumer: { groupId: 'nestjs-group' }
        }
      }
    ])
  ],
  exports: [ClientsModule]
})
export class KafkaClientModule {}

2 ) 方案2:异步消息拦截器

import { Inject, Injectable } from '@nestjs/common';
import { ClientKafka } from '@nestjs/microservices';
 
@Injectable()
export class SecurityInterceptor {
  constructor(@Inject('KAFKA_SERVICE') private client: ClientKafka) {}
 
  async sendMessage(topic: string, message: any) {
    return this.client.emit(topic, {
      headers: { encryption: 'TLSv1.3' }, // 添加安全头
      value: JSON.stringify(message)
    });
  }
}

3 ) 方案3:动态证书加载

// 从环境变量读取证书路径
const sslConfig = {
  ca: [readFileSync(process.env.KAFKA_CA_PATH)],
  key: readFileSync(process.env.KAFKA_KEY_PATH),
  cert: readFileSync(process.env.KAFKA_CERT_PATH)
};
 
// Kafka模块动态配置
KafkaModule.forRootAsync({
  useFactory: () => ({ client: { brokers: [':8899'], ssl: sslConfig } })
});

工程示例:NestJS全链路安全配置


目录结构:

/src
  /kafka
    ├── security.config.ts    # SSL证书加载器
    ├── producer.service.ts   # 安全生产者
    ├── consumer.service.ts   # 消费者组
    └── kafka.module.ts       # 动态模块

核心实现:

  1. 证书动态加载器 (security.config.ts)
import { readFileSync } from 'fs';
import { KafkaSSLOptions } from 'kafkajs';
 
export const loadSSL = (): KafkaSSLOptions => ({
  rejectUnauthorized: true,
  ca: [readFileSync(process.env.KAFKA_CA_PATH, 'utf-8')],
  cert: readFileSync(process.env.KAFKA_CERT_PATH, 'utf-8'),
  key: readFileSync(process.env.KAFKA_KEY_PATH, 'utf-8')
});
  1. 生产者服务 (producer.service.ts)
import { Injectable } from '@nestjs/common';
import { ClientKafka } from '@nestjs/microservices';
 
@Injectable()
export class SecureProducer {
  constructor(private client: ClientKafka) {}
 
  async send(topic: string, payload: object) {
    await this.client.emit(topic, {
      headers: { 'security-version': '1.0' },
      value: Buffer.from(JSON.stringify(payload))
    });
  }
}
  1. 消费者组配置 (consumer.service.ts)
import { Controller } from '@nestjs/common';
import { MessagePattern, Payload } from '@nestjs/microservices';
 
@Controller()
export class SecureConsumer {
  @MessagePattern('encrypted-topic')
  async handleMessage(@Payload() message: Buffer) {
    const content = JSON.parse(message.toString());
    console.log(`Verified message: ${content.id}`);
    // 业务逻辑处理
  }
}

周边配置要点:


  1. 环境变量管理
    使用.env文件存储证书路径:

    KAFKA_BROKERS=kafka1:8899,kafka2:8899 
    KAFKA_CA_PATH=/secrets/ca.crt
    KAFKA_CERT_PATH=/secrets/server.crt
    KAFKA_KEY_PATH=/secrets/server.key
    
  2. Kubernetes部署
    通过Secret挂载证书:

    volumes:
      - name: kafka-certs
        secret:
          secretName: kafka-ssl-certs
    
  3. 性能监控
    添加Prometheus指标:

    import { KafkaMetrics } from 'kafkajs-metrics-prometheus';
    
    const kafka = new Kafka({
      clientId: 'nestjs-app',
      brokers: [':8899'],
      ssl: loadSSL(),
      metrics: new KafkaMetrics()  // 暴露/metrics端点 
    });
    

生产环境最佳实践


  1. 端口隔离策略

    • 对内:保留9092(明文)端口,防火墙限制IP访问
    • 对外:仅暴露8899(SSL)端口
  2. 证书轮换机制
    通过脚本每月更新证书:

    # 自动续签脚本
    openssl x509 -req -in server.csr -CA ca.crt -CAkey ca.key -out new.crt
    systemctl restart kafka  # 滚动重启Broker
    
  3. ACL权限控制
    在SSL基础上增加SASL认证:

    sasl.enabled.mechanisms=SCRAM-SHA-256
    sasl.mechanism.inter.broker.protocol=SCRAM-SHA-256
    

总结


本文完整实现Kafka SSL安全体系到NestJS的迁移,涵盖证书生成、Broker配置、三种客户端集成方案及生产级部署策略。通过端口隔离、动态证书加载和ACL叠加构建纵深防御,在保障20%-30%性能损耗可控的前提下,满足跨团队安全通信需求

kafka sasl_ssl配置 阅读详情

相关推荐

Kafka配置SSL认证

目录 Kafka配置SSL认证 使用kafka自带的消费者生产者测试一下 我是一只小小小小鸟~嗷!嗷! Kafka配置SSL认证 准备工作:生成SSL相关证书 注:详见https://blog.youkuaiyun.com/justry_deng/article/details/88383081。 注:其实对于本节内容来说,有SSL的服务端证书就够了。 第一步:修改kafka安装目录下conf...

JustryDeng 2万+

Kafka配置SSL加密传输

Kafka配置SSL加密传输 一、证书配置 1、生成证书 如我输入命令如下:依次是 密码—重输密码—名与姓—组织单位—组织名—城市—省份—国家两位代码—密码—重输密码,后面告警不用管,此步骤要注意的是,名与姓这一项必须输入域名,如 “localhost”,切记不可以随意写,我曾尝试使用其他字符串,在后面客户端生成证书认证的时候一直有问题。 keytool -keystore server.keystore.jks -alias localhost -validity 3650 -genkey Enter k

qq_41527073的博客 9012

Kafka安全机制详解:从认证、授权到SSL加密的集群加固实践

在分布式消息队列的工程实践中,Kafka作为高吞吐数据管道的核心组件,其默认的明文通信与无访问控制设计往往埋下严重安全隐患。理解认证(Authentication)、授权(Authorization)与加密(Encryption)的协同原理,是构建安全Kafka集群的基石。SASL/SCRAM机制用于校验客户端身份,ACL权限模型精确控制用户对主题与消费组的操作边界,SSL/TLS则保障数据在链路上的机密性与完整性。这些技术不仅适用于Kafka,在RocketMQ、Pulsar等消息中间件中同样具备参考价值

weixin_42539414的博客 215

【Kafka】手把手SASL,SSL教学

kafka的SASL和SSL配置全指南

metaldong的博客 5018

Kafka安全机制详解(认证、鉴权、配置、代码示例)

本文以版本为示例,配合Zookeeper,全面的讲解与Kafak安全机制相关的认证、鉴权、配置、C++/Python/Java代码示例。

哦,原来你也在这里。 4327

Kafka SASL_SSL集群认证

公司需要对kafka环境进行安全验证,目前考虑到的方案有Kerberos和SSL和SASL_SSL,最终考虑到安全和功能的丰富度,我们最终选择了SASL_SSL方案。到此为止,SSL的证书生成和签发完成,可以在当前目录下看到server.keystore.jks和server.truststore.jks文件,最后将这些签发的证书上传到剩下的两台kafka机器上的。证书的生成只需要在任意一台机器上实现,然后将生成的证书拷贝到其余的机器上即可。本次案例生成的在141这台机器上。1)生成keystore。

麦田里的守望者-蒋中洲【相信相信的力量】 2409

Kafka 如何给集群配置SSL认证

主要提供一个实例说明给Kafka集群配置SSL/SALS双重安全认证,包括配置文件内容,验证的例子,报错处理等等内容。

Smallc0de的博客 4073

Kafka Kraft模式集群 + ssl

一般需要提前规划各节点所在服务器、端口、Kafka安装路径、数据存放位置、配置文件位置、ssl证书位置(需要配置的ssl的话才需要)。只需要保证把证书生成到相同的路径下,就不用做重复其他工作了。其他的配置项单机也要配置,集群只是保证broker id的唯一性且增加controller配置,controller配置中的kafka1为对应服务器hosts的主机名。是一样的,只需要把bootstrap-servers改成多个节点的情况就行,其中kafka是项目服务器hosts配置的主机名。

执念的帅气花 1903

大数据Hadoop之——Kafka安全机制(Kafka SSL认证实现)

Kafka0.9.0开始引入丰富的安全认证机制,实现基础安全用户认证,将kafka上云或进行多租户管理的必要步骤安全,目前kafka支持`SASL`、`SSL`、`Delegation Token`这三种认证机制。

匠人精神,持之以恒! 3243

【kafka系列教程45】kafka使用SSL加密和认证

使用SSL加密和认证 Apache kafka 允许clinet通过SSL连接,SSL默认是不可用的,需手动开启。 1. 为每个Kafka broker生成SSL密钥和证书。 部署HTTPS,第一步是为集群的每台机器生成密钥和证书,可以使用java的keytool来生产。我们将生成密钥到一个临时的密钥库,之后我们可以导出并用CA签名它。 keytool -keystore server....

dcm19920115的博客 6220

Kafka的安全机制

一、安全概述 在0.9.0.0版本中,kafka添加了许多功能,这些功能可单独使用或一起使用,从而提高kafka集群的安全性。目前支持的安全措施有: ①使用SSL或者SASL验证来自客户端(生产者和消费者)以及其他broker和工具到broker的链接身份,Kafka支持一下SASL验证机制: SASL/GSSAPI (Kerberos) - starting at version 0.9...

Marshal丶张的博客 2754

kafka2.x版本配置SSL进行加密和身份验证

与步骤 1 中存储每台机器自己的身份的密钥库不同,客户机的信任库存储客户机应信任的所有证书。您可以使用单个 CA 对集群中的所有证书进行签名,并让所有计算机共享信任该 CA 的同一信任库。因此,只要 CA 是真实且受信任的颁发机构,客户端就可以高度保证它们连接到真实的计算机。部署一个或多个支持 SSL 的代理的第一步是为集群中的每台计算机生成密钥和证书。完成第一步后,群集中的每台计算机都有一个公钥-私钥对,以及一个用于标识计算机的证书。生成的 CA 只是一个公钥-私钥对和证书,它旨在对其他证书进行签名。

heming20122012的专栏 4247

kafka配置ssl加密

1.背景: 之前的证书过期了,kafka的服务日志一直报 Failed authentication with /ip (SSL handshake failed) 生产者报的错误 PKIX path validation failed: java.security.cert.CertPathValidatorException: timestamp check failed 2.重新生成 一) 生成认证文件 1) 为每个Kafka broker生成SSL密钥和证书。 keytool -keystore

hello world 4647

kafka SSL配置随笔

讲解关于kafka的ssl配置和参考资料

qq_41574772的博客 2392

【Kafka】Kafka3.3.1集群搭建指南KRaft版本

元数据的管理被整合到了 Kafka 当中,而不需要使用像 ZooKeeper 这样的第三方工具,这大大简化了 Kafka 的架构。这种新的 KRaft 模式提高了分区的可伸缩性和弹性,同时简化了 Kafka 的部署,现在可以不依赖 ZooKeeper 单独部署 Kafka 了。这是第一个标志着可以在生产环境中使用 KRaft(Kafka Raft)共识协议的版本。在几年的开发过程中,它先是在 Kafka 2.8 早期访问版本中发布,然后又在 Kafka 3.0 预览版本中发布。

后端研发工程师Marion的博客 3975

基于多时间尺度的电动汽车光伏充电站联合分层优化调度(Matlab代码实现)

该研究提出了一种电动汽车光伏充电站的分层优化调度方法,采用日前-日内两阶段协同优化框架。日前阶段通过混合整数规划对多充电站进行全局优化,以平抑电网波动和降低购电成本为目标;日内阶段基于实时数据,采用NSGA-II等算法动态分配充电功率。该方法实现了光伏高效消纳、成本节约和电网负荷平衡的有效统一。

zhangxd212489的博客 520

kafka安全机制

== SSL或SASL概念普及,SASL全称Simple Authentication and Security Layer,是一种用来扩充C/S模式验证能力的机制。SSL(Secure Sockets Layer 安全套接字协议),及其继任者传输层安全(Transport Layer Security,TLS)是为网络通信提供安全及数据完整性的一种安全协议。== 在0.9.0.0版中,Kafka社区添加了SSL或SASL对来自客户端(生产者和消费者),其他代理和工具的代理的连接进行身份验证。Kafka支持

u011624157的专栏 1292

LPDDR5X内存技术解析:性能提升与优化策略

内存技术在现代计算系统中扮演着核心角色,其性能直接影响整体系统效率。LPDDR5X作为JEDEC最新标准,通过提升数据传输率至8533Mbps、优化能效比15%以上,并扩展突发长度至32字节,显著提升了移动设备的处理能力。这些改进特别适用于5G通信、AI加速(如昇腾芯片)及8K视频处理等高带宽需求场景。技术原理上,LPDDR5X引入了动态电压频率调整(DVFS)和可编程突发长度等创新机制,有效降低了实际应用中的延迟。在工程实践中,合理的PCB布局和信号完整性验证是确保高速稳定运行的关键。随着AI和8K应用的

weixin_29190169的博客 403

Kafka单机到集群- 自动化- SSL以及全部配置文件 作者精选

本文实现kafka集群的配置和启动过程。并将脚本自动化,使得通用性、独立性更强。1⃣️实现kafka集群从配置到启动可顺序执行ca.sh、ca2.sh、congfig.sh完成kafka的SSL&&配置文件更新。核心内容常见问题和解决方案(含快捷命令)、配置文件内容的填充、常量化配置到变量化实现。2⃣️脚本通用、独立。可复用 or 二次开发 实现SSL配置或中间件全局配置文件生成。:包含安装部署、配置项、api使用等详细信息附件:Kafka并不难学!

qq_41574772的博客 2487

MTK PE+2.0介绍

  PE+2.0介绍:   1.      PE+2.0的状态机: 2.      升压波形协议及编码规则: PE+2.0软件设计:   在充电器类型为标充且底层电量SOC在1%—95%之间时,开始PE+2.0升压充电器的检测:首先将VBUSreset至5V,之后发送8.5的current pattern再获取此时VBUS电压和8.5V比较,若其与8.5的差值绝对值在0.5之...

raydom07的博客 1万+

Amesim应用篇-电芯等效电路模型标定

为了使计算模型更加准确,在有电芯实验测试数据的情况下,依据现有的实验数据对Amesim中的电池等效电路模型进行标定。标定的目的是为了获得更加符合项目实际情况的电芯等效电路模型,标定完的电芯可以用于搭建PACK模型,也可以用于其他虚拟实验。本文以充电标定为例,进行介绍。放电标定与充电一致。

2201_75375391的博客 1215

Kafka: 集群监控与安全机制深度解析

Kafka集群监控与安全实践 核心要点: 监控方案:推荐使用CMAK工具实现集群可视化监控,重点跟踪Broker负载、Leader分配和Consumer Lag等指标,需配合JMX采集性能数据 安全机制:生产环境跨系统交互必须启用SASL认证(推荐SCRAM-SHA-256)和SSL加密,内网可简化基础防护 工程实践:NestJS集成示例展示了安全配置、偏移量监控等实现方案,强调ACL权限控制与证书管理 可视化体系:建议CMAK+Prometheus+Grafana构建监控看板,设置Consumer Lag

Wang的专栏 1068

龙腾CMS downloadFile接口任意文件读取漏洞复现 [附POC]

大连网龙网络科技有限公司专注于在信息科技领域中向客户提供商业解决方案,是专业的互联网服务解决方案提供商和网络营销服务专家,为用户提供一体化的网络营销整体解决方案,龙腾CMS downloadFile接口存在任意文件读取漏洞。

薛定谔嘚喵博客 722
上一篇: Kafka: 集群监控与安全机制深度解析
下一篇: Kafka: 生产环境配置优化与服务器最佳实践指南
Wang's Blog
博客等级 码龄12年 7439粉丝 2424原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Wang's Blog

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值