Kafka开启SASL认证，访问速度很慢

解决KafkaSASL配置后本地连接慢的问题
原创 已于 2023-06-05 14:27:03 修改 · 1.1k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kafka #java #分布式

于 2023-06-05 14:26:18 首次发布
开启Kafka集群SASL安全配置后，使用本地kafkatools连接变慢，而生产环境的kafkaconsumer不受影响。问题在于本地没有配置集群域名。解决方案是将集群域名添加到本地hosts文件，通过域名而非IP地址进行连接，从而提高连接速度。

问题

kafka集群开启sasl配置后，本地电脑使用kafkatools连接kafka集群速度非常非常慢，但是生产环境的kafkaconsumer却很快，而且不采用sasl模式也是很快的，

解决方案

最后在本地hosts添加kafka集群的域名配置，连接地址采用域名(不使用域名也可以)

Kafka 开启SASL/SCRAM认证 及 ACL授权（二）ACL
代码讲故事
10-13 1041
Kafka 开启SASL/SCRAM认证 及 ACL授权（二）ACL。
【Kafka】Kafka启用SASL连接提示Timeout卡顿源码分析
最新发布
metaldong的博客
09-13 913
Kafka启用SASL连接提示Timeout卡顿源码分析
kafka漏洞升级记录，基于SASL JAAS 配置和 SASL 协议，涉及版本3.4以下
c1115759748的博客
02-10 1293
攻击者可以使用基于 SASL JAAS 配置和 SASL 协议的任意 Kafka 客户端，在对 Kafka Connect worker 创建或修改连接器时，通过构造特殊的配置，进行 JNDI 注入。影响范围：2.3.0
kafka开启ACL,请求慢出现超时的解决办法
程序猿的樊笼
07-07 1745
正常情况下，使用某个kafka管理平台（或者是使用kafka提供的admin client）调用kafka的接口查询相关信息，比如查询topic列表，请求是很快的，如下：正常情况（网络也没问题），请求一般是很快的，如果通过一些管理平台，页面显示也是很流畅的。目前有几次遇到请求特别慢，接近10秒甚至数十秒的情况，一些管理平台就可能出现超时现象或者查询的特别慢。我目前遇到2次，说明如下：环境信息如下：当时在公司的时候是没有问题的，回家的时候因为要开启VPN就会出现这个问题，管理平台页面特别慢，甚至查询不出来。环
Kafka开启SASL认证，认证很慢，需要20秒问题排查
随笔
04-07 7978
kafka sasl认证很慢问题
kafka第一次send/生产时，响应很慢
loney_wolf的博客
04-22 3196
        首先排除版本与依赖不一致的情况后：         Kafka在第一次加载时，会首先加载元数据，在向Kafka服务器发送元数据更新请求时，如果服务器与客户端在同一个网段，那么首次加载更新元数据时，会很快。         Kafka服务器与客户端不在同一网
Apache zookeeper kafka 开启SASL安全认证_kafka开启认证
2401_84968371的博客
05-16 2663
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。深知大多数网络安全工程师，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！因此收集整理了一份《2024年网络安全全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上网络安全知识点！真正的体系化！
谁是性能杀手？Kafka多Topic下启用SSL时延增大问题分析
middleware2018的博客
12-23 578
问题背景 项目中将Kafka接口进行RESTful封装，在使用RESTful接口进行性能测试时，发现Topic数增多后，开启SSL与非SSL进行测试，发现开启SSL后性能下降得厉害。例如600个Topic总数每个Topic3分区3副本的场景下，使用1200个线程只发送10个Topic，开启SSL的TPS只有3100，但是不开启SSL性能达到11000。   其中测试客户端会启动多个线程，每个...
Kafka集群多用户访问权限分治和消息共享配置指导
企业实战系列集 ●●● https://ximenjianxue.blog.youkuaiyun.com
04-24 3529
这明显在生产环境，这种认证方式时不符合实际业务场景的。allow.everyone.if.no.acl.found=true #false的话就只能超级用户才能访问资源，true的话其他也可以，如果用户读写一个 Topic，但是没有配置 ACL 权限，客户端会报认证失败错误。现场业务由于多厂商集成，共享数据需要，需对接当前kafka集群，为做到类似租户隔离的功能，需要开启kafka的权限控制和动态用户管理功能，实现不同厂商访问被授权的合法资源，消费者账号只能消费数据，生产者账号只能生产数据。
flume+kafka+hdfs收集用户行为数据
xieedeni的博客
09-27 1882
需求背景 项目中需要将用户的行为数据或者其他数据放入大数据仓库，已有kafka服务。 目标：通过flume获取kafka实时数据并转存储到hdfs。 一. 安装部署Hadoop并启动Hadoop，具体步骤见：Windows10 安装Hadoop3.3.0_xieedeni的博客-优快云博客 Windows10安装Hive3.1.2_xieedeni的博客-优快云博客 说明：这里的版本本人安装的是Hadoop3.3.0，kafka是腾讯云，Flume这里建议安装flume1.9 二. Wind
kafka用户认证与权限管理（SASL/PLAIN+ACL）
浪子天涯行世录
11-18 2984
Kafka 目前支持SSL、SASL/Kerberos、SASL/PLAIN三种认证机制 kafka的认证范围 kafka client 与 kafka server(broker) broker与broker之间 broker与zookeeper之间 zookpeer认证 在zookeeper安装根目录的conf目录下，创建zk_server_jaas.conf文件 Server {...
Offset explorer连接Kerberos认证的Kafka
weixin_36340771的博客
07-28 5259
Offset explorer连接Kerberos认证的Kafka
Java增加线程后kafka仍然消费很慢
全栈开发的博客
07-04 1850
概念：max.poll.interval.ms是Kafka消费者端的一个配置参数，用于设置消费者在轮询过程中处理消息的最大时间间隔。根据实际业务需求和消息处理的复杂性，设置合理的max.poll.interval.ms值，以确保消费者有足够的时间来处理消息。考虑到网络延迟和消息处理的时间，建议将max.poll.interval.ms设置为较大的值，以避免过早地将消费者标记为故障。同时，也要注意将max.poll.interval.ms设置为一个合理的值，以避免消费者长时间无响应而导致消息处理的延迟。
Kafka 典型问题与排查以及相关优化
qq_54188720的博客
07-09 2951
Kafka 是一个高吞吐量的分布式消息系统，但在实际应用中，用户经常会遇到一些性能问题和消息堆积的问题。本文将介绍 Kafka 中一些典型问题的原因和排查方法，帮助用户解决问题并优化 Kafka 集群的性能。
一次解决kafka producer发送很慢的经历
热门推荐
qq_18581221的博客
12-11 1万+
一次解决kafka producer发送很慢的经历 使用场景：kafka发送producer为单实例并且使用同步发送，发送kafka使用线程池执行发送任务，任务队列大小为2000，kafka连接server端使用kerboeros认证 当业务下发从nginx进入，两个tomcat节点进行发送kafka处理，1200TPS时会偶现几次处理时延很长，直接导致nginx504，第一时间打开debug日志...
kafka producer端发送很慢？一招轻松解决
Therefore的专栏
04-10 1万+
使用场景：kafka发送producer为单实例（使用new kafkaProducer）并且使用同步发送，发送kafka使用线程池执行发送任务，任务队列大小为2000，kafka连接server端使用kerboeros认证。 当业务下发从nginx进入，两个tomcat节点进行发送kafka处理，1200TPS时会偶现几次处理时延很长，直接导致nginx504，第一时间打开debug日志，发...
Kafka sasl配置
qq_39816041的博客
08-27 560
Kafka开启使用 SASL_PLAINTEXT认证： 　　输入下面命令，关闭kafka： 　　　　bin/kafka-server-stop.sh 　　输入下面命令，关闭zookeeper： 　　　　bin/zookeeper-server-stop.sh 　　进入config目录，增加如下配置文件： 　　　　cd config 　　　　（1）touch kafka_server...
对接 kafka的 spark程序 程序可以正常运行 就是接受kafka的数据时很慢 ,怎么调优?
號先生的博客
01-26 2275
1）启动一个console consumer消费topic的数据，判断消费是否正常。 2）如果console consumer消费正常，就检查sparkstream程序。 2.1）sparkstreming 是基于时间片消费数据的。 看看时间片是否过小，最小的时间间隔，参考在0.5~2秒钟之间。可以适当放宽时间片的大小。 2.2）spark streaming虽然是按照时间片消费数据的，但是
kafka开启SASL认证配置并开启外网访问
05-27
要在Kafka中开启SASL认证配置并开启外网访问，需要按照以下步骤进行配置： 1. 在Kafka配置文件server.properties中，设置以下属性： ``` listeners=SASL_PLAINTEXT://<your-kafka-hostname>:9092 advertised.listeners=SASL_PLAINTEXT://<your-kafka-external-ip>:9092 security.inter.broker.protocol=SASL_PLAINTEXT sasl.mechanism.inter.broker.protocol=PLAIN ``` 2. 生成Kafka所需的SASL凭证文件。可以使用kafka-configs.sh脚本来创建SASL用户和密码，如下所示： ``` bin/kafka-configs.sh --zookeeper <your-zookeeper-hostname>:2181 --alter --add-config 'SCRAM-SHA-256=[password=your-password],SCRAM-SHA-512=[password=your-password]' --entity-type users --entity-name your-user ``` 3. 启动Kafka服务，并使用Kafka的JAAS配置文件来指定SASL认证。JAAS文件的内容如下所示： ``` KafkaServer { org.apache.kafka.common.security.scram.ScramLoginModule required username="<your-user>" password="<your-password>"; }; ``` 4. 启动Kafka服务时，指定Kafka的JAAS配置文件，如下所示： ``` export KAFKA_OPTS="-Djava.security.auth.login.config=/path/to/kafka_server_jaas.conf" bin/kafka-server-start.sh config/server.properties ``` 5. 配置防火墙规则，允许外部IP地址访问Kafka的SASL认证端口（默认为9092）。 以上是在Kafka中开启SASL认证配置并开启外网访问的步骤。注意，在配置时需要确保安全性，并且根据实际情况对配置进行调整。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值