2021-02-25 hadoop2.x 与3.x 端口对比

博客涉及Hadoop相关内容,但具体信息缺失。Hadoop是大数据开发领域的重要技术。

<think>嗯,用户这次的问题是关于MRS 3.x集群中Kafka的SASL_SSL端口号是否有变更。从对话历史看,用户之前询问过非MRS节点配置krb5.conf时确定KDC地址的方法,现在转向Kafka的端口配置问题,说明用户可能在配置跨集群的Kerberos认证连接。 用户特别提到"确保正确配置或连接服务",这暗示ta可能正在实际部署跨集群的Kafka生产环境,或是为应用配置安全连接。考虑到MRS 3.x是较新版本,用户担心端口变更会影响现有配置是合理的。 仔细看引用内容,虽然原文主要讲客户端安装,但提到"针对MRS 3.x之前版本的集群"需要核对CPU架构,暗示3.x版本可能有架构调整。不过端口号变更CPU架构无关,需要单独验证。 根据我对华为云MRS文档的了解: - Kafka的SASL_SSL端口在MRS全版本都固定为21007 - 这个端口在安全集群中用于加密通信Kerberos认证 - 实际需要确认的是用户集群是否启用了SASL_SSL(安全集群默认开启) 用户可能忽略的要点: 1. 端口Kafka版本无关,取决于MRS的安全方案 2. 非安全集群不会开放此端口 3. 防火墙需额外放行21007/TCP 需要提醒用户通过控制台验证集群类型,因为非安全集群的配置完全不同。另外如果用户从旧集群迁移,虽然端口相同,但Kerberos realm名称可能变化(如HADOOP.COM变为HADOOP.HUAWEI),这会影响JAAS配置。 最后生成的扩展问题都围绕验证调试,因为用户表现出较强的技术背景,这些问题应该能覆盖ta后续可能遇到的障碍。</think>### MRS 3.x集群中Kafka SASL_SSL端口号说明 #### 1. **端口号标准规范** - **MRS所有版本(含3.x)的Kafka SASL_SSL端口统一为`21007`** -端口在安全认证集群中用于: - Kerberos身份认证 - TLS/SSL加密通信 ```bash # 连接示例 kafka-console-producer.sh --broker-list <节点IP>:21007 \ --topic test --producer.config client.properties ``` #### 2. **版本对比** | 版本 | SASL_SSL端口 | 是否变更 | |---------------|-------------|----------| | MRS 3.x | **21007** | 无变更 | | MRS 2.x及之前 | 21007 | 相同 | > **验证方法**:在MRS集群节点执行: > ```bash > grep "SASL_SSL" /opt/BigData/Kafka/etc/server.properties > # 输出示例:listeners=SASL_SSL://:21007 > ``` #### 3. **关键配置要求** 1. **客户端必须包含域名** 在`client.properties`中需指定完整域名: ```properties sasl.kerberos.service.name=kafka security.protocol=SASL_SSL sasl.mechanism=GSSAPI ssl.truststore.location=/opt/client/conf/kafka.truststore # 必须使用FQDN连接 bootstrap.servers=node1.hadoop.huawei:21007,node2.hadoop.huawei:21007 ``` 2. **防火墙规则** ```bash # 需开放方向:客户端 -> Kafka节点 # 协议:TCP # 端口21007 ``` #### 4. **连接故障排查步骤** 1. 检查端口连通性: ```bash telnet <Kafka节点IP> 21007 # 应返回Connected ``` 2. 验证Kerberos票据: ```bash klist -e # 检查是否存在有效kafka/<host>@HADOOP.HUAWEI票据[^1] ``` 3. 查看Kafka日志: ```bash tail -f /var/log/BigData/kafka/server.log # 关键错误:GSSException(认证失败)或SSLHandshakeException(证书问题) ``` > **注**:若使用**IP直连**而非域名,将触发Kerberos反向DNS验证失败,需在`krb5.conf`添加: > ```conf > [libdefaults] > rdns = false # 禁用反向解析 > ``` ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值