hadoop生态系统的端口

最新推荐文章于 2024-07-10 18:26:25 发布
最新推荐文章于 2024-07-10 18:26:25 发布 · 209 阅读 · 0
文章标签：

#大数据 #网络 #ui

本文详细解析了Hadoop生态系统中各个组件所使用的端口，包括系统端口、WebUI端口、内部通信端口、相关产品端口、YARN默认端口以及第三方产品端口。同时介绍了端口配置参数、协议、用途及安全访问方式。

hadoop生态系统的端口

hadoop系统部署时用到不少端口。有的是Web UI所使用的，有的是内部通信所使用的，有的是监控所使用的。实际系统中可能用于防火墙的端口设计。一些内部通信用的端口可能也需要外部能访问。如两个集群的数据对拷。

1.系统

8080，80 用于tomcat和apache的端口。

22 ssh的端口

2.Web UI

用于访问和监控Hadoop系统运行状态

Daemon缺省端口配置参数
HDFSNamenode50070dfs.http.address
Datanodes50075dfs.datanode.http.address
Secondarynamenode50090dfs.secondary.http.address
Backup/Checkpoint node*50105dfs.backup.http.address
MRJobracker50030mapred.job.tracker.http.address
Tasktrackers50060mapred.task.tracker.http.address
HBaseHMaster60010hbase.master.info.port
HRegionServer60030hbase.regionserver.info.port
* hadoop 0.21以后代替secondarynamenode .

3.内部端口

Daemon缺省端口配置参数协议用于
Namenode9000fs.default.nameIPC: ClientProtocolFilesystem metadata operations.
Datanode50010dfs.datanode.addressCustom Hadoop Xceiver: DataNodeand DFSClientDFS data transfer
Datanode50020dfs.datanode.ipc.addressIPC:InterDatanodeProtocol,ClientDatanodeProtocol
ClientProtocol		Block metadata operations and recovery
Backupnode50100dfs.backup.address同 namenodeHDFS Metadata Operations
Jobtracker9001mapred.job.trackerIPC:JobSubmissionProtocol,InterTrackerProtocolJob submission, task tracker heartbeats.
Tasktracker127.0.0.1:0*mapred.task.tracker.report.addressIPC:TaskUmbilicalProtocol和 child job 通信
* 绑定到未用本地端口

4.相关产品端口

产品服务缺省端口参数范围协议说明
HBase

Master60000hbase.master.portExternalTCPIPC
Master60010hbase.master.info.portExternalTCPHTTP
RegionServer60020hbase.regionserver.portExternalTCPIPC
RegionServer60030hbase.regionserver.info.portExternalTCPHTTP
HQuorumPeer2181hbase.zookeeper.property.clientPortTCPHBase-managed ZK mode
HQuorumPeer2888hbase.zookeeper.peerportTCPHBase-managed ZK mode
HQuorumPeer3888hbase.zookeeper.leaderportTCPHBase-managed ZK mode
REST Service8080hbase.rest.portExternalTCP
ThriftServer9090Pass -p <port> on CLIExternalTCP
Avro server9090Pass –port <port> on CLIExternalTCP
Hive Metastore9083ExternalTCP
HiveServer10000ExternalTCP
SqoopMetastore16000sqoop.metastore.server.portExternalTCP
ZooKeeper

Server2181clientPortExternalTCPClient port
Server2888X in server.N=host:X:YInternalTCPPeer
Server3888Y in server.N=host:X:YInternalTCPPeer
Server3181X in server.N=host:X:YInternalTCPPeer
Server4181Y in server.N=host:X:YInternalTCPPeer
Hue

Server8888ExternalTCP
Beeswax Server8002Internal
Beeswax Metastore8003Internal
Oozie Oozie Server11000OOZIE_HTTP_PORT in oozie-env.shExternalTCPHTTP
Oozie Server11001OOZIE_ADMIN_PORT in oozie-env.shlocalhostTCPShutdown port

5.YARN(Hadoop 2.0)缺省端口

产品服务缺省端口配置参数协议
Hadoop YARN

ResourceManager8032yarn.resourcemanager.addressTCP
ResourceManager8030yarn.resourcemanager.scheduler.addressTCP
ResourceManager8031yarn.resourcemanager.resource-tracker.addressTCP
ResourceManager8033yarn.resourcemanager.admin.addressTCP
ResourceManager8088yarn.resourcemanager.webapp.addressTCP
NodeManager8040yarn.nodemanager.localizer.addressTCP
NodeManager8042yarn.nodemanager.webapp.addressTCP
NodeManager8041yarn.nodemanager.addressTCP
MapReduce JobHistory Server10020mapreduce.jobhistory.addressTCP
MapReduce JobHistory Server19888mapreduce.jobhistory.webapp.addressTCP

6.第三方产品端口

ganglia用于监控Hadoop和HBase运行情况。kerberos是一种网络认证协议，相应软件由麻省理工开发。

产品服务安全缺省端口协议访问配置
Ganglia ganglia-gmond8649UDP/TCPInternal
ganglia-web80TCPExternal通过 Apache httpd
Kerberos KRB5 KDC ServerSecure88UDP*/TCPExternal[kdcdefaults] 或 [realms]段下的kdc_ports 和 kdc_tcp_ports
KRB5 Admin ServerSecure749TCPInternalKdc.conf 文件：[realms]段kadmind_port

*缺省UDP协议

hadoop生态系统的端口

hadoop系统部署时用到不少端口。有的是Web UI所使用的，有的是内部通信所使用的，有的是监控所使用的。实际系统中可能用于防火墙的端口设计。一些内部通信用的端口可能也需要外部能访问。如两个集群的数据对拷。

1.系统

8080，80 用于tomcat和apache的端口。

22 ssh的端口

2.Web UI

用于访问和监控Hadoop系统运行状态

Daemon缺省端口配置参数
HDFSNamenode50070dfs.http.address
Datanodes50075dfs.datanode.http.address
Secondarynamenode50090dfs.secondary.http.address
Backup/Checkpoint node*50105dfs.backup.http.address
MRJobracker50030mapred.job.tracker.http.address
Tasktrackers50060mapred.task.tracker.http.address
HBaseHMaster60010hbase.master.info.port
HRegionServer60030hbase.regionserver.info.port
* hadoop 0.21以后代替secondarynamenode .

3.内部端口

Daemon缺省端口配置参数协议用于
Namenode9000fs.default.nameIPC: ClientProtocolFilesystem metadata operations.
Datanode50010dfs.datanode.addressCustom Hadoop Xceiver: DataNodeand DFSClientDFS data transfer
Datanode50020dfs.datanode.ipc.addressIPC:InterDatanodeProtocol,ClientDatanodeProtocol
ClientProtocol		Block metadata operations and recovery
Backupnode50100dfs.backup.address同 namenodeHDFS Metadata Operations
Jobtracker9001mapred.job.trackerIPC:JobSubmissionProtocol,InterTrackerProtocolJob submission, task tracker heartbeats.
Tasktracker127.0.0.1:0*mapred.task.tracker.report.addressIPC:TaskUmbilicalProtocol和 child job 通信
* 绑定到未用本地端口

4.相关产品端口

产品服务缺省端口参数范围协议说明
HBase

Master60000hbase.master.portExternalTCPIPC
Master60010hbase.master.info.portExternalTCPHTTP
RegionServer60020hbase.regionserver.portExternalTCPIPC
RegionServer60030hbase.regionserver.info.portExternalTCPHTTP
HQuorumPeer2181hbase.zookeeper.property.clientPortTCPHBase-managed ZK mode
HQuorumPeer2888hbase.zookeeper.peerportTCPHBase-managed ZK mode
HQuorumPeer3888hbase.zookeeper.leaderportTCPHBase-managed ZK mode
REST Service8080hbase.rest.portExternalTCP
ThriftServer9090Pass -p <port> on CLIExternalTCP
Avro server9090Pass –port <port> on CLIExternalTCP
Hive Metastore9083ExternalTCP
HiveServer10000ExternalTCP
SqoopMetastore16000sqoop.metastore.server.portExternalTCP
ZooKeeper

Server2181clientPortExternalTCPClient port
Server2888X in server.N=host:X:YInternalTCPPeer
Server3888Y in server.N=host:X:YInternalTCPPeer
Server3181X in server.N=host:X:YInternalTCPPeer
Server4181Y in server.N=host:X:YInternalTCPPeer
Hue

Server8888ExternalTCP
Beeswax Server8002Internal
Beeswax Metastore8003Internal
Oozie Oozie Server11000OOZIE_HTTP_PORT in oozie-env.shExternalTCPHTTP
Oozie Server11001OOZIE_ADMIN_PORT in oozie-env.shlocalhostTCPShutdown port

5.YARN(Hadoop 2.0)缺省端口

产品服务缺省端口配置参数协议
Hadoop YARN

ResourceManager8032yarn.resourcemanager.addressTCP
ResourceManager8030yarn.resourcemanager.scheduler.addressTCP
ResourceManager8031yarn.resourcemanager.resource-tracker.addressTCP
ResourceManager8033yarn.resourcemanager.admin.addressTCP
ResourceManager8088yarn.resourcemanager.webapp.addressTCP
NodeManager8040yarn.nodemanager.localizer.addressTCP
NodeManager8042yarn.nodemanager.webapp.addressTCP
NodeManager8041yarn.nodemanager.addressTCP
MapReduce JobHistory Server10020mapreduce.jobhistory.addressTCP
MapReduce JobHistory Server19888mapreduce.jobhistory.webapp.addressTCP

6.第三方产品端口

ganglia用于监控Hadoop和HBase运行情况。kerberos是一种网络认证协议，相应软件由麻省理工开发。

产品服务安全缺省端口协议访问配置
Ganglia ganglia-gmond8649UDP/TCPInternal
ganglia-web80TCPExternal通过 Apache httpd
Kerberos KRB5 KDC ServerSecure88UDP*/TCPExternal[kdcdefaults] 或 [realms]段下的kdc_ports 和 kdc_tcp_ports
KRB5 Admin ServerSecure749TCPInternalKdc.conf 文件：[realms]段kadmind_port

*缺省UDP协议

hfcloudeagle
关注
13、Apache Sentry：Hadoop生态系统的安全授权解决方案
y4z5a6b7的博客
07-19 80
本文深入介绍了Apache Sentry作为Hadoop生态系统中的统一授权解决方案，详细探讨了其核心概念、服务配置、与Hive的集成方法以及在实际场景中的优势与应用。通过Sentry，管理员可以实现细粒度的基于角色的访问控制（RBAC），提高数据安全性并简化权限管理流程。
【大数据HBase系列】 HBase知识体系总结（2021版）
weixin_54707168的博客
04-17 583
【大数据HBase系列】 HBase知识体系总结（2021版）
Hadoop2.0 端口
spark的专栏
05-11 1473
查看HDFS:    http://16.187.94.161:50070 查看RM:    http:// 16.187.94.161:8088
hadoop2.x常用端口及定义方法
spring8743的专栏
01-10 782
Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。 这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper: 组件 节点 默认端口 配置 用途说明 HDFS
Hadoop常见端口号及配置文件
m0_70962682的博客
11-02 9249
Hadoop常用端口及配置文件
hadoop生态系统默认端口集合
用心做事
04-28 2888
1 HDFS服务中，默认端口集合：  1. HDFS 端口 Service Servers Default Ports Used Protocol Description Need End User Access? Configuration Parameters NameNode WebUI Master Nodes (NameNo
hadoop 2.0服务端口约定
xiao_jun_0820的专栏
04-22 1553
hadoop 2.0服务端口约定，备查。
Hadoop生态系统概览
最新发布
kkchenjj的博客
07-10 1450
Hadoop生态系统包括一系列的工具和框架，它们共同提供了一个全面的大数据处理平台。Oozie的工作流定义是通过XML文件进行的，这使得工作流的定义和管理变得简单。</</</</</</</</</</</</</</</</Hive 是一个基于 Hadoop 的数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的 SQL 查询功能，使 MapReduce 更为直观和简洁。HiveSQL 是 Hive 提供的 SQL 语言，用于处理存储在 Hadoop 文件系统中的大规模数据集。
Hadoop默认端口清单-防火墙申请使用
11-27
以上是Hadoop及其生态系统中各个组件的默认端口列表。这些端口在实际部署时可能会有所不同，具体取决于配置文件中的设置。对于生产环境，建议根据实际情况调整端口号，避免端口冲突，并确保防火墙规则正确配置，以...
大数据Hadoop生态系统全面解析
# 大数据Hadoop生态系统全面解析 ## 1. Hadoop生态系统的内置工具和功能 Hadoop生态系统提供了众多内置工具、特性和功能，以下是详细介绍： ### 1.1 数据存储 - **Hadoop分布式文件系统（HDFS）**：提供可扩展、...
hadoop生态圈面试精华之Hadoop基础
m0_46914845的博客
08-17 1506
hadoop生态圈面试精华之Hadoop基础
Hadoop端口一览表
目标检测专栏持续更新中，改进YOLO系列通用，适用v5、v7、v8、所有博客均是团队原创博客，所有文章禁止转载，违者必究。
04-18 849
Hadoop端口一览表 @(Hadoop) 端口名 用途 50070 Hadoop Namenode UI端口 50075 Hadoop Datanode UI端口 50090 Hadoop SecondaryNamenode 端口 50030 JobTracker监控端口 50060 TaskTrackers端口 8088 Yarn任务监控端口 60010 Hbase HMaster监控UI端口 60030 Hbase HRegionServer端口 8080 Spark监控UI端口 4040 Spar
hadoop生态圈中一些端口用途
米二的博客
07-19 918
hadoop生态圈中一些端口用途
Hadoop生态圈常用端口
qq_41301707的博客
05-15 311
Hadoop生态圈常用端口 HDFS：50070 HDFSWEBUI端口：8020 HDFS内部端口：8088 Yarn的WEBUI接口：8032 NameNode：9000 .SecondaryNameNode：50090 DataNode：50010 历史服务器Web端口：19...
hadoop的常见端口
joris30的博客
07-29 727
50070：http namenode port 50075：http datenode port 50090：http 2namenode port 8020：50070：rpc namenode port 50010：rpc datenode port
大数据hadoop常用端口-hadoop 3.x 通信端口
luo981695830的博客
10-20 1518
关于hadoop 2.x的通信端口参考上一篇博客 namenode rpc-address 8020 namenode http-address 9870 namenode https-address 9871 datanode address 9866 datanode http-address 9864 datanode https-address 9865 resourcemanager ht.
关于访问Spark管理界面hadoop01:8080的相关问题解决
zlashouch的博客
03-07 2766
使用记事本打开C:\Windows\System32\drivers\etc路径下的host文件，查看是否自己的host文件被修改。如果没有下图红框里的内容，根据自己的虚拟机IP地址完成映射就行。当启动Spark集群后，使用jps命令可以看到Hadoop01上启动了Master进程，Hadoop02和Hadoop03上启动了worker进程时，访问Spark管理界面。来查看集群状态时出现报错，显示页面无法访问。
在hadoop生态系统中zookeeper
12-16
在Hadoop生态系统中，Zookeeper是一个开源的分布式协调服务，它可以为分布式应用程序提供高效且可靠的协调服务。Zookeeper主要用于解决分布式应用程序中的一些常见问题，例如分布式锁、分布式配置管理、分布式消息队列等。在Hadoop中，Zookeeper通常用于管理Hadoop集群中的NameNode和ResourceManager的状态信息。 关于Zookeeper的部署，可以分为单节点和集群部署两种方式。单节点部署比较简单，只需要在一台机器上安装Zookeeper并启动即可。而集群部署则需要在多台机器上安装Zookeeper，并通过配置文件将它们组成一个Zookeeper集群。 以下是Zookeeper集群部署的步骤： 1. 在每台机器上安装Zookeeper，并确保它们的版本相同。 2. 在每台机器上创建一个Zookeeper数据目录，用于存储Zookeeper的数据。 3. 在每台机器上创建一个Zookeeper配置文件，例如zoo.cfg，并在其中指定Zookeeper集群的配置信息，例如集群中的机器列表、数据目录等。 4. 在每台机器上启动Zookeeper服务，并指定它们的配置文件。 5. 在其中一台机器上启动Zookeeper客户端，并使用它来管理Zookeeper集群。 以下是一个示例Zookeeper配置文件zoo.cfg的内容： ```shell tickTime=2000 initLimit=10 syncLimit=5 dataDir=/var/lib/zookeeper clientPort=2181 server.1=hadoop130:2888:3888 server.2=hadoop131:2888:3888 server.3=hadoop132:2888:3888 ``` 其中，tickTime表示Zookeeper中的基本时间单位，initLimit和syncLimit表示Zookeeper中的超时时间，dataDir表示Zookeeper的数据目录，clientPort表示Zookeeper客户端连接的端口号，server.x表示Zookeeper集群中的机器列表。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值