kafka安全权限验证sasl配置

kafka安全认证与授权(SASL/PLAIN) 快速搭建kafka SASL+ACL实现安全认证、授权 kafka SASL/PLAIN 阅读详情

Kafka

安全认证配置 SASL

常规配置(kafka和zk)

kafka server配置

#进入kafka的配置目录config
cd /mnt/data/kafka/config
#新建配置文件
touch kafka_server.jaas.conf
vim kafka_server.jaas.conf
#注意password后边有;
KafkaServer {
    org.apache.kafka.common.security.plain.PlainLoginModule required
    username="admin"
    password="admin-secret"
    user_admin="admin-secret";
};
KafkaClient {
    org.apache.kafka.common.security.plain.PlainLoginModule required
    username="admin"
    password="admin-secret";
};
Client {
    org.apache.kafka.common.security.plain.PlainLoginModule required
    username="admin"
    password="admin-secret";
};

修改server.properties

vim server.properties
​
# 允许外部端口连接
listeners=SASL_PLAINTEXT://0.0.0.0:9092
# 外部代理地址 外网地址
advertised.listeners=SASL_PLAINTEXT://101.xx.xx.xx:29092
​
security.inter.broker.protocol=SASL_PLAINTEXT
​
sasl.enabled.mechanisms=PLAIN
​
sasl.mechanism.inter.broker.protocol=PLAIN
​
# Add acl
allow.everyone.if.no.acl.found=true
auto.create.topics.enable=true
delete.topic.enable=true
advertised.host.name=dn1
super.users=User:admin
​
# Add class
#authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer
#kafka3.0之后版本弃用了SimpleAclAuthorizer验证,改为
authorizer.class.name=kafka.security.authorizer.AclAuthorizer

​

修改kafka/bin

进入kafka的bin目录bin:
vim kafka-server-start.sh
​
export KAFKA_OPTS="-Djava.security.auth.login.config=file:$base_dir/../config/kafka_server_jaas.conf"

配置zookeeper

kafka_zoo.jaas.conf

touch kafka_zoo.jaas.conf
vim kafka_zoo.jaas.conf
ZKServer{
    org.apache.kafka.common.security.plain.PlainLoginModule required
        username="admin"
        password="admin-secret"
        user_kafka="admin-secret";
};
​

修改zookeeper-server-start.sh

export KAFKA_OPTS="-Djava.security.auth.login.config=file:$base_dir/../config/kafka_zoo_jaas.conf -Dzookeeper.allowSaslFailedClients=false"

如果需要使用kafka自带客户端 需要配置

kafka client配置 kafka/config目录

touch kafka_client.jaas.conf
vim kafka_client.jaas.conf
Client {
    org.apache.kafka.common.security.plain.PlainLoginModule required
    username="admin"
    password="admin-secret"
    user_kafka="admin-secret";
};

修改producer.properties

vim producer.properties
​
security.protocol=SASL_PLAINTEXT
​
sasl.mechanism=PLAIN

修改consumer.properties

vim consumer.properties
​
security.protocol=SASL_PLAINTEXT
​
sasl.mechanism=PLAIN

新增consumer-group-ssl.properties

security.protocol=SASL_PLAINTEXT
sasl.mechanism=PLAIN
sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="账号" password="密码";

修改启动脚本 kafka/bin目录

vim kafka-console-producer.sh

export KAFKA_OPTS="-Djava.security.auth.login.config=file:$base_dir/../config/kafka_client_jaas.conf"

vim kafka-console-consumer.sh
export KAFKA_OPTS="-Djava.security.auth.login.config=file:$base_dir/../config/kafka_client_jaas.conf"

kafka-java配置

1.properties配置

properties.put(CommonClientConfigs.SECURITY_PROTOCOL_CONFIG, "SASL_PLAINTEXT");
properties.put(SaslConfigs.SASL_MECHANISM,"PLAIN");
properties.put(SaslConfigs.SASL_JAAS_CONFIG,"org.apache.kafka.common.security.plain.PlainLoginModule required username=\"admin\" password=\"admin_secret\";");

kafka脚本

windows

#kafka\bin\windows目录
.\zookeeper-server-start.bat ..\..\config\zookeeper.properties
.\kafka-server-start.bat ..\..\config\server.properties
​

linux

#kafka/bin目录
#启动zookeeper
./zookeeper-server-start.sh -daemon /mnt/data/kafka/config/zookeeper.properties
#启动kafka
./kafka-server-start.sh -daemon /mnt/data/kafka/config/server.properties
#启动eagle
./ke.sh start
#查询topic信息
./kafka-topics.sh --describe --zookeeper localhost:2181 --topic member_modify_model
#查询topic内容
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic member_modify_model --from-beginning
查看指定的消费者
./kafka-consumer-groups.sh --bootstrap-server 192.168.0.75:9092 --command-config config/consumer-group-ssl.properties --group PROVINCE_KAFKA_GROUP --describe
查看所有的消费者组
./kafka-consumer-groups.sh --bootstrap-server 192.168.31.253:9092 --all-groups --describe
查看指定组里的成员
./kafka-consumer-groups.sh --bootstrap-server 192.168.31.253:9092 --group CountryCounter --describe --members

查看有那些 group ID 正在进行消费: 
./kafka-consumer-groups.sh --new-consumer --bootstrap-server 192.168.75.128:9092 --list
查看指定group.id 的消费者消费情况 
./kafka-consumer-groups.sh  --bootstrap-server 192.168.0.75:9092 --command-config config/consumer-group-ssl.properties  --group PROVINCE_KAFKA_GROUP --describe
删除消费者组的偏移量
./kafka-consumer-groups.sh --bootstrap-server 192.168.31.253:9092 --delete-offsets --group CountryCounter --topic t1

Kafka安全模式之身份认证 SASL-PLAIN方式是一个经典的用户名/密码的认证方式,其中用户名和密码是以明文形式保存在服务端的JAAS配置文件中的,当客户端使用PLAIN模式进行认证时,密码是明文传输的,因此安全性较低,但好处是足够简单,方便我们对其进行二次开发,在0.10版本引入。在kafka身份认证的过程中,需要的principal,keytab,ServiceName等信息均配置在jaas文件中,因此保证认证的服务可以读取到正确的文件及正确的配置是kafka安全模式下认证的核心。解决办法是找第三方提供。 阅读详情

相关推荐

Kafka安全认证机制详解之SASL_PLAIN_kafka sasl认证

这个时候使用auth.conf已经不能创建topic了,使用admin.conf可以创建,因为admin账号和配置的超级管理员一致;而auth.conf配置的是tly账号;使用权限配置并且超级用户是admin,这个用户和我们上面配置的列表中的admin用户相互映射,每个机器都需要配置然后重启所有节点。不使用认证创建会一直卡主不动,其实也是没权限的,时间久了就会报timeout异常。命令为:kafka-acls.sh。使用tly用户查看当前topic。此时每个节点都有了权限认证。给之前的用户tly授权。

2401_84264630的博客 1689

Kafka 认证一:PlainLoginModule 认证及 Java 连接测试

项目需求是:通过 Web 页面配置 Kafka 信息并存储,且支持安全认证模式。本文介绍 Kafka 帐号密码认证的完整实践流程,自己实践一遍,才能穿起各个概念。Kafka 的 Plain 简单文本认证方式比较简单,只需要 Kafka 服务端维护用户列表,客户端同样的安全认证配置即可。

本博客纯属个人网络笔记,如对阁下有用,甚喜;否则,关掉即可,不喜勿喷。专心写代码,不做键盘侠! 5729

DELPHI11 利用Android手机实现条码扫描功能

好了,整个过程全部结束,当然这只是最简单的例子,只是演示一下如何识别条码,更多的条码处理功能,比如优化,提速等需要在后面继续。安装过程中所有提示框全部按OK就可以,直到提示安装成功,那么ZXing库就成功完成了安装。点击红框标识的文件夹图标,将下载的ZXing库文件路径加入进来后,点ADD。第三步:选择下载的ZXing库路径,并按Ctrl + A进行全选,并导入。至此为止,我们的库才算是全部安装完成,可以在DELPHI 中正常引用了。2.打开相机,识别条码,并将条码内容显示在MEMO1中。

1531

Kafka添加安全认证SASL/PLAIN (用户密码登录) 小白实操记录

程序版本 scala-2.12.3.tgz自带zookeeper 安装步骤 1 切换到安装目录下,新建配置文件 cd /usr/local/kafka/kafka_2.12-2.5.0 touch kafka_server_jaas.conf vi config/kafka_server_jaas.conf 输入一下内容 KafkaServer { org.apache.kafka.common.security.plain.PlainLoginModule requ...

码灵的博客 6419

如何有效爬取“好大夫”评论数据?技术实现与合规性分析

本文探讨了爬取好大夫在线医生评论数据的技术与合规性问题。分析了好大夫平台评论数据的价值和特点,指出其动态加载和反爬机制的挑战。技术上,推荐使用Selenium模拟浏览器行为获取数据,并提供了分页爬取、代理IP、验证码识别等解决方案。同时强调必须遵守平台的爬虫策略,关注用户协议和隐私保护法规,建议通过官方API或授权方式获取数据。文章还讨论了数据清洗存储方法,并提醒注意数据伦理和最小化抓取原则。本文为医疗数据爬取提供了技术实现和合规性指导的平衡方案。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 1059

Linux实战:rMATS可变剪切分析从零到一,避坑指南与结果深度解析

本文详细介绍了在Linux系统上从零开始部署rMATS进行可变剪切分析的完整流程,包括环境搭建、安装避坑指南、参数优化及结果解读。特别针对gfortran依赖、数学库配置等常见问题提供解决方案,并深入解析JC与JCEC结果的差异及可视化技巧,帮助生物信息学研究者高效完成可变剪切分析。

weixin_30394669的博客 411

【Kafka】Quota配额命令、文档相关概念

一、多租赁模式基于 Zookeeper和 kafka-configs.sh 管理所有用户 1、步骤 l基于zookeeper,实现用户管理 l配置broker认证信息,并进行平滑更新 l配置client认证信息(通过java api) 2、其他概念 ACL: 访问控制列表(Access Control Lists,ACL)是应用在路由器接口的指令列表。这些指令列表用来告诉路由器哪些数据包可...

USTSD的博客 232

避坑指南:C# OpenCvSharp调用4K摄像头常见的5个问题及解决方案

本文针对C# OpenCvSharp调用4K高清摄像头时常见的五大难题,提供了详细的解决方案。内容涵盖分辨率设置失效、帧率卡顿、内存泄漏、硬件驱动兼容性以及性能优化实战,帮助开发者高效稳定地处理4K视频流,提升智能安防监控等项目的开发效率。

weixin_29268331的博客 426

揭秘Kafka-Map消费者组管理:查看、删除与offset重置实用技巧

在Kafka分布式消息系统中,消费者组管理是运维工作中的重要环节。Kafka-Map作为一款功能强大的Kafka可视化工具,为开发者提供了简单高效的消费者组管理解决方案。本文将深入解析如何使用Kafka-Map进行消费者组查看、删除与offset重置,帮助您轻松应对Kafka运维挑战。 ## 什么是Kafka-Map消费者组管理? Kafka-Map是一款基于Java17和React开发的Ka

gitblog_01090的博客 375

如何使用superpowers

"这个 bug 帮我修一下" → 我会自动走 systematic-debugging → TDD → verify 流程。- "帮我添加一个登录功能" → 我会自动走 brainstorming → plan → TDD → verify 流程。只要任务有 1% 的可能性适用某个技能,我就会先调用它再行动。→ TDD(测试驱动开发)→ verification(验证)→ code review(代码审查)提出需求 → brainstorming(头脑风暴)→ writing-plans(编写计划)

xiaojingjianqiang的博客 613

FPGA实战 —— 基于UART的多设备串口通信系统设计

本文深入探讨了基于FPGA的多设备UART串口通信系统设计。针对工业控制与物联网应用中一对多通信的需求,文章对比了共享总线式、多路独立式等硬件连接方案,并详细阐述了可配置UART IP核、波特率自适应算法以及多路数据仲裁与分发逻辑等核心设计要点。最后,通过一个四传感器采集节点的实战案例,展示了从硬件连接到Verilog代码实现的完整系统构建过程。

weixin_29172963的博客 235

3分钟免费上手:可视化Kafka集群管理的完整解决方案

还在为复杂的Kafka命令行操作而烦恼吗?**Kafka-UI** 这款开源可视化工具能让你像管理普通Web应用一样轻松管理Apache Kafka集群。无论你是刚接触Kafka的新手开发者,还是需要高效运维的工程师,这个免费工具都能显著提升你的工作效率。本文将带你从零开始,快速掌握Kafka集群管理、主题监控和消息操作的核心技能。 ## 🤔 你的Kafka管理痛点是什么? 你是否遇到过这些

gitblog_00086的博客 188

多模态论文笔记——VQ-VAE和VQ-VAE-2

本文详细介绍VQ-VAE和VQ-VAE-2的原理和训练过程,为后面的dVAE在DALLE中的使用打下坚实的基础。

haopinglianlian的博客 3304

Kafka Console UI 可视化管理平台部署使用指南

Kafka Console UI 是一款轻量级 Kafka 可视化管理平台,把 Topic 管理、消费组监控、消息查询从命令行搬到了中文 Web 页面。它面向每天要维护 Kafka 集群、又不想自己搭重型运维平台的开发和运维同学:装好、启动、配上集群,就能干活。 ## Kafka 可视化管理平台部署步骤 最省事的方式是用官方安装包,下载解压即可,不需要任何额外依赖。 ### Windows

gitblog_00212的博客 145

2022年全国职业院校技能大赛网络系统管理赛项模块A:网络构建(样题5)-网络部分解析-附详细代码

2022年全国职业院校技能大赛网络系统管理赛项模块A:网络构建(样题5)-网络部分解析-附详细代码

bfq05234214的博客 424

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

kafka集群搭建、SASL配置

9 在/tmp/zookeeper/下 新建 myid文件,内容填写节点数字 0 其他节点分别填写 1 和2。10 在kafka/conf/下新增 kafka_server_jaas.conf。8 新建/tmp/kafka-logs目录 和 /tmp/zookeeper目录。11 配置 consumer.properties。12 配置 producer.properties。1 安装kafka需要安装JDK。7 配置zookeeper。18 kafka命令汇总。17 修改bin下命令。

qq_34324703的博客 2586

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

kafka使用SASL认证

1. JAAS配置 Kafka使用Java认证和授权服务(JAAS)进行SASL配置。 为broker配置JAAS KafkaServer是每个KafkaServer/Broker使用JAAS文件中的部分名称。本节为broker提供了SASL配置选项,包括进行broker之间通信所需的任何SASL客户端连接。 客户端部分用于验证与zookeeper的SASL连接。它还允许broke...

挖矿的小强的博客 3万+

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

kafka 开启用户认证

【代码】kafka 开启用户认证。

acoolper的专栏 1431

Kafka配置SASL安全认证

1、在server.properties中加入以下内容,启用SASL安全认证: [root@kafka1 ~]# cat /usr/local/kafka/config/server.properties listeners=SASL_PLAINTEXT://192.168.1.8:9092 security.inter.broker.protocol=SASL_PLAINTEXT sasl.enabled.mechanisms=PLAIN sasl.mechanism.inter.broker.pr

你说亮不亮的博客 5753

kafka安装部署-前面部分

step 1: 下载代码 你可以登录Apache kafka 官方下载。http://kafka.apache.org/downloads.html 下载和自己系统匹配的 Step 2: 启动服务 运行kafka需要使用Zookeeper,所以你需要先启动Zookeeper,如果你没有Zookeeper,你可以使用kafka自带打包和配置好的Zookeeper(PS:在kafka包里)。 在和kafka一个目录bin文件夹下面; //这是前台启动,启动以后,当前就无法进行其他操作(不推.

wt6002的博客 586

kafka配置SASL/PLAIN 安全认证

由上一步可发现,认证方式使用的是Kafka的认证类org.apache.kafka.common.security.plain.PlainLoginModule。网上的说法是 Client,是kafka作为用户使用zk的认证信息,这里的username和password一定要和zk_server_jaas.conf的配置对的上。user_kafka=“kafkapasswd"定义了一个用户"kafka”,密码是"kafkapasswd",本次测试用户是kafka broker。在zkEnv.sh添加。

weixin_44280356的博客 3098

Kafka 安全认证及权限控制【详解】

Kafka 安全认证及权限控制,Kafka使用SASL_PLAINTEXT用户认证及权限

qq_27480007的博客 9446

kafka的sasl配置

1、Kafka brokers的SASL配置 在broker中选择1个或多个支持的机制启用,kafka目前支持的机制有 GSSAPI 和 PLAIN 。 添加一个JAAS文件来配置选择的 GSSAPI(Kerberos)或 PLANIN。 JAAS配置文件位置作为JVM参数传递给每个broker代理。例如: - Djava.security.auth.login....

atarik@163.com 3813

单机部署Kafka和开启SASL认证以及基础命令使用

​。

XXXXXX741的博客 2372

Kafka 配置SASL安全认证

Kafka 版本 kafka_2.12-2.0.0.tar.gz。

爱摄影的小章同学的博客 907

Kafka 、Kafka Tools针对于SASL修改

最近公司项目,需要支持Kafka SASL,经过2天的摸索,终于搞定,特此记录。 该文从以下5方面,进行介绍 环境搭建 代码修改 监控工具修改 命令脚本参数对比 常见报错 一、环境搭建 1、Kafka Server修改 在config目录下创建kafka_server_jaas.conf文件,配置如下 KafkaServer { org.apache.kafka.common.securit...

weixin_46053046的博客 3237
上一篇: SpringCloudGateway修改requestBody导致form-data不支持问题解决
下一篇: LeetCode-9 [回文数]
codeLife1993
博客等级 码龄8年 23粉丝 60原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值