kafka kerberos 认证访问与非认证访问共存下的ACL问题

最新推荐文章于 2025-01-24 00:20:57 发布

转载最新推荐文章于 2025-01-24 00:20:57 发布 · 1k 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://yq.aliyun.com/articles/550115

文章标签：

#大数据

在Kafka集群中引入Kerberos认证及ACL权限控制，解决非认证连接的权限问题，确保现有服务不中断。

在一个正在运行的kafka集群中添加kerberos认证和ACL权限控制，同时保证以前所有的producer\consumer服务不中断

解决方式：使kafka集群监听两个端口，一个为无认证连接，另一个为kerberos的认证连接

这时候在配置ACL的时候出了问题：

假如我以kerberos认证的方式连接kafka集群，那么我的用户名是principal的primary部分。例如principal是 kafka/master@HZ.DATA.COM ,那么我的用户名就是kafka。这时候我只要给kafka这个用户配置相应的权限就可以了。

但是当我以非认证的方式连接kafka集群的时候，我会得到以下的错误：

 
     
          [WARN ]
          16
          :
          06
          :
          55
          ,
          440
          , [Class]NetworkClient, Error 
          while 
          fetching metadata with correlation id 
          1 
          : {test=UNKNOWN_TOPIC_OR_PARTITION} 
         

          org.apache.kafka.common.errors.TopicAuthorizationException: Not authorized to access topics: [test]
         

   

或者在console-producer中的错误如下：

 
     
          [
          2017
          -
          08
          -
          22 
          15
          :
          17
          :
          27
          ,
          576
          ] WARN Error 
          while 
          fetching metadata with correlation id 
          2 
          : {test=UNKNOWN_TOPIC_OR_PARTITION} (org.apache.kafka.clients.NetworkClient) 
         
 
          [
          2017
          -
          08
          -
          22 
          15
          :
          17
          :
          27
          ,
          685
          ] WARN Error 
          while 
          fetching metadata with correlation id 
          4 
          : {test=UNKNOWN_TOPIC_OR_PARTITION} (org.apache.kafka.clients.NetworkClient) 
         
 
          [
          2017
          -
          08
          -
          22 
          15
          :
          17
          :
          27
          ,
          787
          ] WARN Error 
          while 
          fetching metadata with correlation id 
          6 
          : {test=UNKNOWN_TOPIC_OR_PARTITION} (org.apache.kafka.clients.NetworkClient) 
         
 
          [
          2017
          -
          08
          -
          22 
          15
          :
          17
          :
          27
          ,
          890
          ] WARN Error 
          while 
          fetching metadata with correlation id 
          7 
          : {test=UNKNOWN_TOPIC_OR_PARTITION} (org.apache.kafka.clients.NetworkClient) 
         
 
          [
          2017
          -
          08
          -
          22 
          15
          :
          17
          :
          27
          ,
          993
          ] WARN Error 
          while 
          fetching metadata with correlation id 
          8 
          : {test=UNKNOWN_TOPIC_OR_PARTITION} (org.apache.kafka.clients.NetworkClient) 
         

   