2021-02-25 hadoop2.x 与3.x 端口对比

最新推荐文章于 2022-10-24 12:16:45 发布
原创 最新推荐文章于 2022-10-24 12:16:45 发布 · 243 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop

博客涉及Hadoop相关内容，但具体信息缺失。Hadoop是大数据开发领域的重要技术。

Hadoop 2.x与Hadoop 3.x之间比较
learning7mAchine的博客
06-28 674
Hadoop 2.x - 在Hadoop 1.0中，只有一个NameNode来管理所有Namespace，但在Hadoop 2.0中，多个NameNode用于多个Namespace。Hadoop 3.x - 此处，MR API与运行Hadoop 1.x程序兼容，以便在Hadoop 3.X上执行。Hadoop 3.x - 可以使用Hive，pig，Tez，Hama，Giraph和其他Hadoop工具。Hadoop 2.x - 使用Hive，pig，Tez，Hama，Giraph和其他Hadoop工具。
大数据原生集群 (Hadoop3.X为核心) 本地测试环境搭建一
别人笑我太疯癫，我笑他人看不穿。
08-16 1187
搭建前说明：本篇开始围绕Hadoop3.x大数据组件做集群搭建，将会直接从各组件开始搭建，至于集群的准备工作都是一样的，直接去Hadoop2.x集群搭建一和二里面去看。总体上来讲较新的版本和老版本只是在搭建上有些地方不一样，使用上差别不大。当然本篇用于搭建的3.x集群为了防止影响，使用了一套新的环境，节点任然是三台本篇安装软件版本JAVAJDK1.8 这里不再演示，直接准备就行。
hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比
A_lele123的专栏
12-16 1127
问题导读： 1.DataNode的http服务的端口、ipc服务的端口分别是哪个？ 2.NameNode的http服务的端口、ipc服务的端口分别是哪个？ 3.journalnode的http服务的端口、ipc服务的端口分别是哪个？ 4.ResourceManager的http服务端口是哪个？ 5.NodeManager的http服务端口是哪个？ 6.Master的http服务的端口、
hadoop2和hadoop3端口区别表
一只小白
06-05 865
最新的hadoop 3版本端口和2版本在端口尚有所改动，之前没用3版本不知道，运维的过程中才发现有区别，今天做了一下整理，用于记录两者的区别。
hadoop3.x与hadoop2.x比较
qq_51903852的博客
10-25 607
一、常用端口号 hadoop3.x HDFS NameNode 内部通讯端口：8020/9000/9820 HDFS NameNode 对用户的查询端口：9870 Yarn查看任务运行情况的：8088 历史服务器：19888 hadoop2.x HDFS NameNode 内部通讯端口：8020/9000 HDFS NameNode 对用户的查询端口：50070 Yarn查看任务运行情况的：8088 历史服务器：19888 二、常用的配置文件 hadoop3.x core-site.xml
Hadoop学习5-1：Hadoop 3.x和Hadoop 2.x的主要区别
qq_43967413的博客
12-04 997
Hdfs基本概念 Hdfs基本概念
Hadoop 2.x与3.x 22点比较,Hadoop 3.x比2.x的改进
09-30
Hadoop 2.x与Hadoop 3.x是两个不同版本的Hadoop，它们在架构、性能、功能等方面都有所不同。本文将详细探讨Hadoop 3.x相较于Hadoop 2.x的22个主要改进点，帮助用户了解新版本的优势。 1. License：Hadoop 2.x和...
Hadoop3.x系统文档
03-23
文档中对于Hadoop 3.x常用配置与Hadoop 2.x的对比，提供了一系列常见配置项的解释，例如： - 如何指定Hadoop临时路径，这关系到Hadoop执行过程中临时文件的存放。 - dfs.blocksize可以使用的单位，文件块大小是HDFS...
Hadoop2.x和3.x版本区别
盛夏光年-进阶修炼池
04-18 629
常用端口区别 端口名称 hadoop2.x hadoop3.x NameNode内部通信端口 8020/9000 8020/9000/9820 NameNode Http UI 50070 9870 MapReduce 查看执行任务端口 8088 8088 历史服务器通信端口 19888 19888
Hadoop2.x与Hadoop3.x的默认端口变化
web15286201346的博客
04-18 1656
Namenode 端口: 2.x端口 3.x端口 name desc 50470 9871 dfs.namenode.https-address The namenode secure http server address and port. 50070 9870 dfs.namenode.http-address The address and the base port where the dfs namenode web ui will listen on. 8020 9820 fs.default
Hadoop 2.x与3.x 22点比较：3.x将节省大量存储空间
about云
08-27 9076
问题导读1.Hadoop3.x通过什么方式来容错？2.Hadoop3.x存储开销减少了多少？3.Hadoop3.x MR API是否兼容hadoop1.x？一、目的在这篇...
Hadoop2.x与3.x的区别：
sunzhenaiwo的博客
09-18 2052
通用性） 1.精简Hadoop内核，包括剔除过期的API和实现，将默认组件实现替换成最高效的实现（比如将FileOutputCommitter缺省实现换为v2版本，废除hftp转由webhdfs替代，移除Hadoop子实现序列化库org.apache.hadoop.Records。 2.Classpath isolation：以防止不同版本jar包冲突，比如google Guava在混合使用Hadoop、HBase和Spark时，很容易产生冲突。 3.Shell脚本重构： Hadoop 3.0对Had
hadoop2和hadoop3的比较
chenzuoli的博客
03-24 2998
hadoop3出来几年了，我们还在用hadoop2吗？
Hadoop 3.X 和 2.X 的常用端口号和配置文件
热门推荐
hmyqwe的博客
05-26 1万+
Hadoop 常用端口号 Hadoop 3.X HDFS NameNode 内部通信端口：8020/9000/9820 HDFS NameNode HTTP UI：9870 Yarn 查看任务执行端口：8088 历史服务器通信端口：19888 Hadoop 2.X HDFS NameNode 内部通信端口：8020/9000 HDFS NameNode HTTP UI：50070 Yarn 查看任务执行端口：8088 历史服务器通信端口：19888 Hadoop 常用配置文件 Hadoop 3.X
Hadoop集群测试
m0_72168501的博客
10-24 1804
Hadoop的集群测试和Hadoop的词频统计体验
hadoop3.x\2.x常用端口,和常用配置文件
市民景先生
04-19 3539
常用端口号 hadoop3.x HDFS NameNode 内部通常端口：8020/9000/9820 HDFS NameNode 对用户的查询端口：9870 Yarn查看任务运行情况：8088 历史服务器：19888 hadoop2.x HDFS NameNode 内部通常端口：8020/9000 HDFS NameNode 对用户的查询端口：50070 Yarn查看任务运行情况：8088 历史服务器：19888 常用配置文件 3.x core-site.xml...
MRS 3.x集群的Kafka SASL_SSL端口号是否有变化？
最新发布
07-22
<think>嗯，用户这次的问题是关于MRS 3.x集群中Kafka的SASL_SSL端口号是否有变更。从对话历史看，用户之前询问过非MRS节点配置krb5.conf时确定KDC地址的方法，现在转向Kafka的端口配置问题，说明用户可能在配置跨集群的Kerberos认证连接。 用户特别提到"确保正确配置或连接服务"，这暗示ta可能正在实际部署跨集群的Kafka生产环境，或是为应用配置安全连接。考虑到MRS 3.x是较新版本，用户担心端口变更会影响现有配置是合理的。 仔细看引用内容，虽然原文主要讲客户端安装，但提到"针对MRS 3.x之前版本的集群"需要核对CPU架构，暗示3.x版本可能有架构调整。不过端口号变更与CPU架构无关，需要单独验证。 根据我对华为云MRS文档的了解： - Kafka的SASL_SSL端口在MRS全版本都固定为21007 - 这个端口在安全集群中用于加密通信和Kerberos认证 - 实际需要确认的是用户集群是否启用了SASL_SSL（安全集群默认开启） 用户可能忽略的要点： 1. 端口号与Kafka版本无关，取决于MRS的安全方案 2. 非安全集群不会开放此端口 3. 防火墙需额外放行21007/TCP 需要提醒用户通过控制台验证集群类型，因为非安全集群的配置完全不同。另外如果用户从旧集群迁移，虽然端口相同，但Kerberos realm名称可能变化（如HADOOP.COM变为HADOOP.HUAWEI），这会影响JAAS配置。 最后生成的扩展问题都围绕验证和调试，因为用户表现出较强的技术背景，这些问题应该能覆盖ta后续可能遇到的障碍。</think>### MRS 3.x集群中Kafka SASL_SSL端口号说明 #### 1. **端口号标准规范** - **MRS所有版本（含3.x）的Kafka SASL_SSL端口统一为`21007`** - 该端口在安全认证集群中用于： - Kerberos身份认证 - TLS/SSL加密通信 ```bash # 连接示例 kafka-console-producer.sh --broker-list <节点IP>:21007 \ --topic test --producer.config client.properties ``` #### 2. **与旧版本对比** | 版本 | SASL_SSL端口 | 是否变更 | |---------------|-------------|----------| | MRS 3.x | **21007** | 无变更 | | MRS 2.x及之前 | 21007 | 相同 | > **验证方法**：在MRS集群节点执行： > ```bash > grep "SASL_SSL" /opt/BigData/Kafka/etc/server.properties > # 输出示例：listeners=SASL_SSL://:21007 > ``` #### 3. **关键配置要求** 1. **客户端必须包含域名** 在`client.properties`中需指定完整域名： ```properties sasl.kerberos.service.name=kafka security.protocol=SASL_SSL sasl.mechanism=GSSAPI ssl.truststore.location=/opt/client/conf/kafka.truststore # 必须使用FQDN连接 bootstrap.servers=node1.hadoop.huawei:21007,node2.hadoop.huawei:21007 ``` 2. **防火墙规则** ```bash # 需开放方向：客户端 -> Kafka节点 # 协议：TCP # 端口：21007 ``` #### 4. **连接故障排查步骤** 1. 检查端口连通性： ```bash telnet <Kafka节点IP> 21007 # 应返回Connected ``` 2. 验证Kerberos票据： ```bash klist -e # 检查是否存在有效kafka/<host>@HADOOP.HUAWEI票据[^1] ``` 3. 查看Kafka日志： ```bash tail -f /var/log/BigData/kafka/server.log # 关键错误：GSSException（认证失败）或SSLHandshakeException（证书问题） ``` > **注**：若使用**IP直连**而非域名，将触发Kerberos反向DNS验证失败，需在`krb5.conf`添加： > ```conf > [libdefaults] > rdns = false # 禁用反向解析 > ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值