ZooKeeper部署全攻略——TLS/SSL安全认证

原创 已于 2023-07-05 16:25:52 修改 · 1.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#zookeeper #ssl #安全

于 2023-07-03 09:57:23 首次发布
本文详述了如何为ZooKeeper部署TLS/SSL安全认证，包括创建SSL证书、配置服务端与客户端、设置安全端口以及调整Kafka连接ZooKeeper的配置。内容涵盖kafka集成版和zookeeper独立版的步骤，确保ZooKeeper的安全运行。

目录

创建ssl证书

创建密钥库存储目录

创建KeyStore密钥库

服务端添加SSL信息

方式一：添加到配置文件

kafka集成zookeeper版本修改配置文件

zookeeper独立版修改配置文件

方式二：以变量的形式添加

kafka集成zookeeper版本修改启动脚本

zookeeper独立版修改启动脚本

配置文件添加安全端口

添加安全端口

重启zookeeper及kafka

配置ZooKeeper Client连接

修改客户端脚本变量

kafka集成zookeeper版本修改客户端脚本

zookeeper独立版修改客户端脚本

验证客户端连接

kafka集成zookeeper版本客户端访问

zookeeper独立版修改客户端客户端访问

配置Kafka连接ZooKeeper

kafka集成zookeeper版本修改kafka配置文件

zookeeper独立版修改kafka配置文件

为zookeeper配置TLS/SSL安全认证，以便增加安全机制。以下以kafka集成版zookeeper举例。

创建ssl证书

创建密钥库存储目录

mkdir /apps/kafka_3.4.1/config/certs

创建KeyStore密钥库

  • Keytool是一个Java数据证书的管理工具，Keytool将密钥（key）和证书（certificates）存在一个称为keystore的文件中，Keystore可以简单理解为一个存放应用签名的文件。我们可以称它为密钥库。在keystore里，包括两种数据：
    • 密钥实体（Key entity）——密钥（secret key）又或者是私钥和配对公钥（采用非对称加密）
    • 可信任的证书实体（trusted certificate entries）——只包含公钥
  • Keytool工具参数详细

参数

详解

-genkey

在用户主目录中创建一个默认文件”.keystore”,还会产生一个mykey的别名，mykey中包含用户的公钥、私钥和证书(在没有指定生成位置的情况下,keystore会存在用户系统默认目录)

-alias

产生别名 每个keystore都关联这一个独一无二的alias，这个alias通常不区分大小写

-keystore

指定密钥库的名称(产生的各类信息将不在.keystore文件中)

-keyalg

指定密钥的算法 (如 RSA DSA，默认值为：DSA)

-validity

指定创建的证书有效期多少天(默认 90)

-keysize

指定密钥长度 （默认 1024）

-storepass

指定密钥库的密码(获取keystore信息所需的密码)

-keypass

指定别名条目的密码(私钥的密码)

-dname

指定证书发行者信息 其中： “CN=名字与姓氏,OU=组织单位名称,O=组织名称,L=城市或区域名 称,ST=州或省份名称,C=单位的两字母国家代码”

-list

显示密钥库中的证书信息 keytool -list -v -keystore 指定keystore -storepass 密码

-v

显示密钥库中的证书详细信息

-export

将别名指定的证书导出到文件 keytool -export -alias 需要导出的别名 -keystore 指定keystore -file 指定导出的证书位置及证书名称 -storepass 密码

-file

参数指定导出到文件的文件名

-delete

删除密钥库中某条目 keytool -delete -alias 指定需删除的别 -keystore 指定keystore – storepass 密码

-printcert

查看导出的证书信息 keytool -printcert -file g:ssomichael.crt

-keypasswd

修改密钥库中指定条目口令 keytool -keypasswd -alias 需修改的别名-keypass 旧密码 -new 新密码 -storepass keystore密码 -keystore sage

-storepasswd

修改keystore口令 keytool -storepasswd -keystore g:ssomichael.keystore(需修改口令的keystore) -storepass pwdold(原始密码) -new pwdnew(新密码)

-import

将已签名数字证书导入密钥库 keytool -import -alias 指定导入条目的别名 -keystore 指定keystore -file 需导入的证书

  • dname选项详解

信息

详解

[CN]

这里输入域名 如 www.ssltest.com   或 子域名 mail.ssltest.com  或通配符域名 *.ssltest.com。实际环境可使用主机host名称，如host仿制域名；或常用的node1、node2命名，其通配域名可配置为node*。

OU]

购买或管理证书的部门，可以直接回车跳过或输入NA，即空。或输入公司简称等

O]

输入公司名称，如果没有公司名称，可输入NA

L]

输入所在的城市

ST]

输入所在的省市，或自治区

C]

输入国家代码，中国填写CN

  • 开始创建
keytool -keystore /apps/kafka_3.4.1/config/certs/keystore.jks -alias zoo -validity 3650 -genkey -keyalg RSA -storepass rbt@123456 -keypass rbt@123456 -dname "CN=doris*,OU=rbt,O=rbt,L=beijing,ST=beijing,C=CN"

  •         注：keystore的后缀名必须为.jks，不然客户端将无法识别文件类型。
  • 复制警告内容，进行格式转换（输入上一步中-storepass参数中配置的密码）
keytool -importkeystore -srckeystore /apps/kafka_3.4.1/config/certs/keystore.jks -destkeystore /apps/kafka_3.4.1/config/certs/keystore.jks -deststoretype pkcs12

  • 查看KeyStore内容
keytool -list -v -keystore /apps/kafka_3.4.1/config/certs/keystore.jks -storepass rbt@123456

 

  • 导出证书
keytool -export -alias zoo -keystore /apps/kafka_3.4.1/config/certs/keystore.jks -rfc -file /apps/kafka_3.4.1/config/certs/zoo.cer -storepass rbt@123456

  • 导入证书到truststore文件中
keytool -import -alias zoo -file /apps/kafka_3.4.1/config/certs/zoo.cer -keystore /apps/kafka_3.4.1/config/certs/truststore.jks -storepass rbt@123456 -keypass rbt@123456 -noprompt

  • 注：truststore的后缀名必须为.jks，不然客户端将无法识别文件类型。

  • 查看TrustStore内容
keytool -list -v -keystore /apps/kafka_3.4.1/config/certs/truststore.jks -storepass rbt@123456

  • 将证书复制到其他节点
scp /apps/kafka_3.4.1/config/certs/keystore.jks root@doris2:/apps/kafka_3.4.1/config/certs/
scp /apps/kafka_3.4.1/config/certs/truststore.jks root@doris2:/apps/kafka_3.4.1/config/certs/
scp /apps/kafka_3.4.1/config/certs/zoo.cer root@doris2:/apps/kafka_3.4.1/config/certs/

服务端添加SSL信息

  1. 有两种添加方式，任选其一即可；
  2. 若同时或已开通ZooKeeper的ACL控制，则SSL的配置内容，一定要在ACL配置内容的下面，不然ZooKeeper将无法启动。正确配置顺序如下：

  • 方式一：添加到配置文件

kafka集成zookeeper版本修改配置文件

vim config/zookeeper.properties

添加如下内容：

serverCnxnFactory=org.apache.zookeeper.server.NettyServerCnxnFactory
ssl.keyStore.location=/apps/kafka_3.4.1/config/certs/keystore.jks
ssl.keyStore.password=rbt@123456
ssl.trustStore.location=/apps/kafka_3.4.1/config/certs/truststore.jks
ssl.trustStore.password=rbt@123456

zookeeper独立版修改配置文件

vim conf/zoo.cfg

添加如下内容：

serverCnxnFactory=org.apache.zookeeper.server.NettyServerCnxnFactory
ssl.keyStore.location=/apps/apache-zookeeper-3.8.1-bin/conf/certs/keystore.jks
ssl.keyStore.password=rbt@123456
ssl.trustStore.location=/apps/apache-zookeeper-3.8.1-bin/conf/certs/truststore.jks
ssl.trustStore.password=rbt@123456

方式二：以变量的形式添加

kafka集成zookeeper版本修改启动脚本

vim zookeeper-server-start.sh

在脚本开头位置，添加如下内容：

export KAFKA_OPTS="-Dzookeeper.serverCnxnFactory=org.apache.zookeeper.server.NettyServerCnxnFactory -Dzookeeper.ssl.keyStore.location=/apps/kafka_3.4.1/config/certs/keystore.jks -Dzookeeper.ssl.keyStore.password=rbt@123456 -Dzookeeper.ssl.trustStore.location=/apps/kafka_3.4.1/config/certs/truststore.jks -Dzookeeper.ssl.trustStore.password=rbt@123456"

zookeeper独立版修改启动脚本

vim zkServer.sh

在脚本开头位置，添加如下内容：

export SERVER_JVMFLAGS="-Dzookeeper.serverCnxnFactory=org.apache.zookeeper.server.NettyServerCnxnFactory -Dzookeeper.ssl.keyStore.location=/apps/apache-zookeeper-3.8.1-bin/conf/certs/keystore.jks -Dzookeeper.ssl.keyStore.password=rbt@123456 -Dzookeeper.ssl.trustStore.location=/apps/apache-zookeeper-3.8.1-bin/conf/certs/truststore.jks -Dzookeeper.ssl.trustStore.password=rbt@123456"

 

配置文件添加安全端口

添加安全端口

  • kafka集成zookeeper版本，配置文件一般为zookeeper.properties；独立版配置文件一般为zoo.cfg。
#kafka集成zookeeper版本
vim config/zookeeper.properties
#zookeeper独立版本
vim conf/zoo.cfg

添加如下内容：

secureClientPort=2183

  • 若不想开通普通端口，则将“ClientPort=2181”注释即可，如：

重启zookeeper及kafka

  • 重启zookeeper
#kafka集成zookeeper版本
/apps/kafka_3.4.1/bin/zookeeper-server-stop.sh
/apps/kafka_3.4.1/bin/zookeeper-server-start.sh -daemon /apps/kafka_3.4.1/config/zookeeper.properties
#zookeeper独立版本
/apps/apache-zookeeper-3.8.1-bin/bin/zkServer.sh restart

 

配置ZooKeeper Client连接

修改客户端脚本变量

kafka集成zookeeper版本修改客户端脚本

vim bin/zookeeper-shell.sh

在脚本开头位置，添加如下内容：

export KAFKA_OPTS="-Dzookeeper.clientCnxnSocket=org.apache.zookeeper.ClientCnxnSocketNetty -Dzookeeper.client.secure=true -Dzookeeper.ssl.hostnameVerification=false -Dzookeeper.ssl.keyStore.location=/apps/kafka_3.4.1/config/certs/keystore.jks -Dzookeeper.ssl.keyStore.password=rbt@123456 -Dzookeeper.ssl.trustStore.location=/apps/kafka_3.4.1/config/certs/truststore.jks -Dzookeeper.ssl.trustStore.password=rbt@123456"

zookeeper独立版修改客户端脚本

vim bin/zkCli.sh

在脚本开头位置，添加如下内容：

export CLIENT_JVMFLAGS="-Dzookeeper.clientCnxnSocket=org.apache.zookeeper.ClientCnxnSocketNetty -Dzookeeper.client.secure=true -Dzookeeper.ssl.hostnameVerification=false -Dzookeeper.ssl.keyStore.location=/apps/apache-zookeeper-3.8.1-bin/conf/certs/keystore.jks -Dzookeeper.ssl.keyStore.password=rbt@123456 -Dzookeeper.ssl.trustStore.location=/apps/apache-zookeeper-3.8.1-bin/conf/certs/truststore.jks -Dzookeeper.ssl.trustStore.password=rbt@123456"

验证客户端连接

kafka集成zookeeper版本客户端访问

bin/zookeeper-shell.sh 10.8.15.35:2183
ls /

zookeeper独立版修改客户端客户端访问

bin/zkCli.sh -server 10.8.15.35:9183
ls /

配置Kafka连接ZooKeeper

  • 仅密钥库路径不同，其他配置均相同

kafka集成zookeeper版本修改kafka配置文件

vim /apps/kafka_3.4.1/config/server.properties

添加如下内容：

zookeeper.connect=doris1:2183,doris2:2183,doris3:2183
zookeeper.clientCnxnSocket=org.apache.zookeeper.ClientCnxnSocketNetty
zookeeper.ssl.client.enable=true
zookeeper.ssl.hostnameVerification=false
zookeeper.ssl.keystore.location=/apps/kafka_3.4.1/config/certs/keystore.jks
zookeeper.ssl.keystore.password=rbt@123456
zookeeper.ssl.truststore.location=/apps/kafka_3.4.1/config/certs/truststore.jks
zookeeper.ssl.truststore.password=rbt@123456

zookeeper独立版修改kafka配置文件

vim /apps/kafka_3.4.1/config/server.properties

添加如下内容：

zookeeper.connect=doris1:9183,doris2:9183,doris3:9183
zookeeper.clientCnxnSocket=org.apache.zookeeper.ClientCnxnSocketNetty
zookeeper.ssl.client.enable=true
zookeeper.ssl.hostnameVerification=false
zookeeper.ssl.keystore.location=/apps/apache-zookeeper-3.8.1-bin/conf/certs/keystore.jks
zookeeper.ssl.keystore.password=rbt@123456
zookeeper.ssl.truststore.location=/apps/apache-zookeeper-3.8.1-bin/conf/certs/truststore.jks
zookeeper.ssl.truststore.password=rbt@123456

 

ZooKeeper安全认证机制：SSL
hyg0406的专栏
03-05 5650
ZooKeeper安全认证机制：SSL 本文探讨ZooKeeper的SSL安全机制。默认情形下，ZooKeeper的网络通信是没有加密的，但ZooKeeper提供了SSL特性，目前仅应用在Client与Server端之间的交互(Server与Server之间的交互尚不支持)，且RPC通信协议基于Netty时(ZooKeeper内置的NIO实现中不支持)。 SSL简介 SSL全称为Secure...
Java 大视界 -- Java 大数据文本分析与自然语言处理：从文本挖掘到智能对话（十）
【青云交】华为云云享专家 | 阿里云开发者社区专家博主 技术圈个人影响力前 17 | 博客之星 TOP23 优快云 首位四榜（原力榜 / 作者周榜 / 领军人物 / 综合热榜）榜首，破平台纪录！ 苏州地区全榜霸榜，感恩全网十多万粉丝同行！
01-05 4052
本文聚焦 Java 大数据文本分析与 NLP，详述文本采集、挖掘，机器翻译、智能对话，结合金融、旅游案例剖析语义、安全挑战及应对，为文本技术应用添翼。
zookeeper 开启ssl认证与客户端服务端通信方法 详细攻略
LastSong_的博客
03-24 3945
zookeeper 开启ssl认证与客户端服务端通信方法 详细攻略前言前置需求1 修改zoo.cfg2 修改zkCli.sh3 客户端操作客户端连接zk时需要添加如下配置 前言 最近公司有需求，zk集群必须添加ssl认证，网上找了很多方法，都不是很详细，在经过多番折腾之后，有了这篇文章 前置需求 要预先生成好客户端与服务端的ssl证书，参考我的另一篇文章 链接: ssl证书生成 详细流程 1 修改zoo.cfg 将clientPort替换为 secureClientPort=2281 并添加如下配置 se
Apache ZooKeeper认证失败处理：异常捕获与重试机制设计
最新发布
gitblog_00001的博客
09-25 796
在分布式系统中，Apache ZooKeeper（分布式协调服务）的认证机制是保障数据安全的重要屏障。当认证失败发生时，如何优雅地捕获异常并实现可靠的重试逻辑，直接影响系统的稳定性和用户体验。本文将从异常捕获、重试策略设计、配置优化三个维度，结合ZooKeeper源码与最佳实践，提供一套完整的解决方案。 ## 认证失败异常体系解析 ZooKeeper的认证失败主要通过`KeeperExcept...
kafka开启SSL认证（包括内置zookeeper开启SSL）
m0_37817986的博客
11-09 2609
zookeeper和kafka的SSL开启都可独立进行。
Zookeeper的安全认证与加密
AI天才研究院
01-18 1548
1.背景介绍 Zookeeper是一个开源的分布式协调服务，用于构建分布式应用程序的基础设施。它提供了一种可靠的、高性能的、分布式的协调服务，以实现分布式应用程序的一致性。Zookeeper的安全认证和加密是确保分布式应用程序的安全性和数据完整性的关键部分。 在本文中，我们将讨论Zookeeper的安全认证与加密，包括其核心概念、算法原理、具体操作步骤、数学模型公式、代码实例以及未来发展趋势与...
zookeeper 安全认证讲解 （非重点）
Ethe的博客
06-28 385
【代码】zookeeper 安全认证讲解 （非重点）
MQTT over TCP长连接维护全攻略：ESP32客户端保活机制的8个核心要点
# 1. MQTT over TCP长连接的基本原理与通信模型 MQTT（Message Queuing Telemetry Transport）是一种基于发布/订阅模式的轻量级消息协议，运行于TCP/IP协议之上，专为低带宽、高延迟或不可靠网络环境下的物联网设备...
【TP5.0微服务架构实践】：构建可扩展服务生态攻略
本文旨在介绍微服务架构的基础知识，并以TP5.0框架为例，详述其在微服务架构中的应用、环境搭建、业务逻辑实现、安全与性能优化以及实践案例分析。文中不仅解释了微服务架构的概念、TP5.0框架的优势和特点，还展示了...
2020年Linux的知识技术合集（基础入门到高级进阶）
Linuxishome的博客
03-01 1768
前言 本文介绍下Linux从入门到高级进阶的学习路线。 整个路线体系专注于服务器后台开发，知识点包括C/C++，Linux，Nginx，ZeroMQ，MySQL，Redis，fastdfs，MongoDB，ZK，流媒体，CDN，P2P，K8S，Docker，TCP/IP，协程，DPDK等等 资源列表： 1：linux零基础入门 2：linux服务器开发 3：架构师开发 4：linux内核 5：we...
kafka与zookeeper的SSL认证教程
乐维社区的博客
07-11 2246
setAcl / ip:127.0.0.1:cdrwa,auth:kafka:kafka@123:cdrwa #(设置可以登陆的IP和用户账号密码，admin是上面的zk的配置文件里面定义的管理员，Kafka用户是/asop/kafka/kafka_2.11-2.1.0/config/kafka_server_jaas.conf文件里面的定义的kafka连接zk的用户 （Client下面的）)/asop/zk/zookeeper-3.4.13/bin/zkCli.sh #进入zk的命令行模式。
zookeeper增加权限登录验证
11-19
针对zookeeper的安全漏洞，增加了对访问ip地址的限制。
分布式服务Dubbo+Zookeeper安全认证实例
08-28
下面小编就为大家分享一篇分布式服务Dubbo+Zookeeper安全认证实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
zookeeper
m0_48714980的博客
09-16 188
1 Zookeeper 的概述 Zookeeper 是一个开源的分布式协调服务框架，主要用来解决分布式集群中应用系统的一致性问题和数据管理问题 2:Zookeeper的特点 Zookeeper 本质上是一个分布式文件系统, 适合存放小文件，也可以理解为一个数据库在上图左侧, Zookeeper 中存储的其实是一个又一个 Znode, Znode 是 Zookeeper 中的节点node 是有路径的, 例如/data/host1, /data/host2, 这个路径也可以理解为是Znode 的 NameZno
ZooKeeper SSL User Guide
jxchallenger的专栏
09-24 459
ZooKeeper SSL User Guide - Apache ZooKeeper - Apache Software Foundation
Zookeeper中的客户端配置认证(zoo_client.conf)
多头注意力探索Now
07-03 3115
zk 客户端认证方式
zookeeper之安全认证和实际应用
上善若泪
03-26 1958
文章目录1 zk的安全认证1.1 zookeeper的ACL1.2 代码说明2 zk的实际应用2.1 在eclipse中添加工具2.2 代码说明2.2.1 服务器端2.2.2 客户端一2.2.3 客户端二2.2.4 测试端 1 zk的安全认证 1.1 zookeeper的ACL ACL（Access Control List），Zookeeper作为一个分布式协调框架，其内部存储的都是一些关乎分布...
zookeeper 请求认证
jxluoix的专栏
04-16 452
认证认证请求有头部，响应有头部请求头 class RequestHeader { int xid; int type; }  认证请求 class AuthPacket { int type; ustring scheme; buffer auth; }  响应头 class ReplyHe...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值