Hadoop（HDFS、YARN、HBase、Hive和Spark等）默认端口表

最新推荐文章于 2021-05-29 21:42:20 发布
最新推荐文章于 2021-05-29 21:42:20 发布
阅读量6.6k 收藏 4
点赞数 1
CC 4.0 BY-SA版权
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Aquester/article/details/24734123
本文详细介绍了Hadoop及HBase集群中各组件的默认端口配置及其用途，包括NameNode、DataNode、ResourceManager、NodeManager、JournalNode等关键服务的HTTP、RPC及相关端口说明。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >


端口 作用
9000 fs.defaultFS，如：hdfs://172.25.40.171:9000
9001 dfs.namenode.rpc-address，DataNode会连接这个端口
50070 dfs.namenode.http-address
50470 dfs.namenode.https-address
50100 dfs.namenode.backup.address
50105 dfs.namenode.backup.http-address
50090 dfs.namenode.secondary.http-address，如：172.25.39.166:50090
50091 dfs.namenode.secondary.https-address，如：172.25.39.166:50091
50020 dfs.datanode.ipc.address
50075 dfs.datanode.http.address
50475 dfs.datanode.https.address
50010 dfs.datanode.address，DataNode的数据传输端口
8480 dfs.journalnode.rpc-address
8481 dfs.journalnode.https-address
8032 yarn.resourcemanager.address
8088 yarn.resourcemanager.webapp.address，YARN的http端口
8090 yarn.resourcemanager.webapp.https.address
8030 yarn.resourcemanager.scheduler.address
8031 yarn.resourcemanager.resource-tracker.address
8033 yarn.resourcemanager.admin.address
8042 yarn.nodemanager.webapp.address
8040 yarn.nodemanager.localizer.address
8188 yarn.timeline-service.webapp.address
10020 mapreduce.jobhistory.address
19888 mapreduce.jobhistory.webapp.address
2888 ZooKeeper，如果是Leader，用来监听Follower的连接
3888 ZooKeeper，用于Leader选举
2181 ZooKeeper，用来监听客户端的连接
60010 hbase.master.info.port，HMaster的http端口
60000 hbase.master.port，HMaster的RPC端口
60030 hbase.regionserver.info.port，HRegionServer的http端口
60020 hbase.regionserver.port，HRegionServer的RPC端口
8080 hbase.rest.port，HBase REST server的端口
10000 hive.server2.thrift.port
9083 hive.metastore.uris

Hadoop生态简介，Hive、Spark、HBase等
随便写写，随便写写
05-16 9649
Hadoop生态全景介绍，Spark、Hive、HBase等
大数据基础知识-Hadoop、HBase、Hive一篇搞定
最新发布
qq_41680016的博客
05-28 9684
相应的，数据库由于规模较小，因此可以支持的数据规模较小，一般单张表中能存储百万条数据(最新版的MySQL经过优化，单表中可以存储千万条或者上亿条数据，即使是一亿条数据，也就10GB大小，且此时效率会非常低)。HBase数据存储依靠HDFS，HDFS存储数据具有一次写入，多次读取的特点，其不支持对数据进行修改，但是HBase存储数据为KV型，通过对相同的K再次写入，根据TimeStamp不可逆的特点，每次写入的数据的时间戳都比上一个数据的时间戳大，从而完成版本号的维护和数据的更新。
Yarn的默认端口(转载)
微电子学与固体电子学-俞驰
05-06 8032
转载自: https://docs.cloudera.com/HDPDocuments/HDP2/HDP-2.6.5/bk_reference/content/yarn-ports.html Table1.22.YARN Service Ports Service Servers Default Ports Used Protocol Description...
HDFS,YARN,HBASE,ZOOKEEPER主要默认端口
Mr.Cai
03-17 1917
Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。 这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper。 组件 Daemon 端口 配置 说明
大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1
08-03
在构建大数据处理环境时，Hadoop、HBase、Spark和Hive是四个核心组件，它们协同工作以实现高效的数据存储、处理和分析。本教程将详细介绍如何在Ubuntu系统上搭建这些组件的集群。 1. **Hadoop**：Hadoop是Apache...
『转载』hadoop2.x常用端口、定义方法及默认端口
weixin_30954265的博客
06-07 179
『转载』hadoop2.x常用端口、定义方法及默认端口 1.问题导读 DataNode的http服务的端口、ipc服务的端口分别是哪个？ NameNode的http服务的端口、ipc服务的端口分别是哪个？ journalnode的http服务的端口、ipc服务的端口分别是哪个？ ResourceManager的http服务端...
hadoop 常用端口记录
qq_22478923的博客
02-20 8675
端口 用途 9000 fs.defaultFS，如：hdfs://172.25.40.171:9000 9001 dfs.namenode.rpc-address，DataNode会连接这个端口 50070 dfs.namenode.http-address 50470 dfs.namenode.https-ad
hadoop常用端口号
Peanut的博客
07-26 790
dfs.namenode.http-address: 50070 SecondaryNameNode辅助名称节点端口号： 50090 dfs.datanode.address: 50010 fs.defaultFS: 8020 或者 9000 yarn.resourcemanager.webapp.address: 8088 历史服务器 web访问端口： 19888
hadoop开发中常用的端口号有那些？
热门推荐
诗水人间
09-14 10万+
50070 查看hdfs文件系统的 8088 查看MapReduce
Hadoop端口号、配置文件
秃头小姐姐
03-11 794
端口号 2.x 50070 8088 19888 9000 web端查看HDFS文件系统 http://hadoop101:50070/dfshealth.html#tab-overview 注意：如果不能查看，看如下帖子处理 http://www.cnblogs.com/zlslch/p/6604189.htmldfs.namenode.http-address:50070 SecondaryNameNode:辅助名称节点端口号：50090 dfs.datanode.address:500
YARN的8088，8188，19888端口的区别
yang556677的博客
02-25 9107
8088是ResourceManager的web界面，对应下面配置字段： yarn.resourcemanager.webapp.address 输入端口号默认跳转到http://linux01:8088/cluster，主要管理功能，同时可以在applications可以看到任务运行的历史是由history server和timeline提供。 19888是yarn的histor...
hadoop之yarn
luo981695830的博客
01-26 5037
yarn介绍 yarn是Apache Hadoop YARN，hadoop中的组件，是英文简称，全程是Yet Another Resource Negotiator，另一种资源协调者，是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。 hadoop进行资源管理和任务调度的是resourcemanager。后面会更新google三篇论文和yarn的演变过程 yarn的web界面..
Hadoop 1.X & Hadoop 2.X 默认端口对比
二十三小时
11-02 2123
1，Hadoop 2.X 默认端口 组件 节点 默认端口 配置 用途说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口，用于数据传输 HDFS DataNode 50075 dfs.datanode.http.address http服务的端口 HDFS Data
Hadoop常用端口号
Markble
09-22 5143
HDFS、YARN、HBase、Hive、Zookeeper常用端口号： 组件 节点 默认端口 配置 用途说明 HDFS DateNode 50010 dfs.datanode.address datanode服务端口，用于数据传输 HDFS DateNode 50075 dfs.datanode.http.address http服务的端口 HDFS DateNode 50475 dfs.datano.
修改yarn默认端口
Student_xx的博客
12-03 1万+
1.改yarn默认端口的原因 为什么要修改yarn默认的端口的愿意是因为想yarn、redis这种8088和6379端口是近年来挖矿病毒的热门踩点端口，具体的可参考这篇文章： https://segmentfault.com/a/1190000015264170 2.修改端口 1）在~/app/hadoop/etc/hadoop/yarn-site.xml 文件中增加以下配置： 图上为什么配置的是这个参数呢？ 参数在官网https://hadoop.apache.org/docs/r2.10.1/hado
简述Hadoop的几个默认端口及其含义。
m0_57498038的博客
05-29 1177
1）dfs.namenode.http-address:50070 2）SecondaryNameNode辅助名称节点端口号：50090 3）dfs.datanode.address:50010 4）fs.defaultFS:8020 或者9000 5）yarn.resourcemanager.webapp.address:8088
hadoop(hdfs、yarn、hbase、hive和spark等)默认端口表
06-28
### 回答1： Hadoop是一个由Apache基金会开源的大数据处理框架，包含多个组件，每个组件都有默认的端口号。下面是hadoop各组件的默认端口表： 1. HDFS（Hadoop分布式文件系统）： - NameNode端口：50070 - SecondaryNameNode端口：50090 - DataNode端口：50075 2. YARN（Hadoop资源调度系统）： - Resource Manager Web界面：8088 - ResourceManager Scheduler端口：8030 - ResourceManager通信端口：8031 - Node Manager通信端口：8040 - Node Manager Web界面：8042 3. HBase（Hadoop数据库）： - Master端口：16000 - Master Web界面：16010 - RegionServer端口：16020 - RegionServer Web界面：16030 4. Hive（Hadoop数据仓库工具）： - HiveServer2端口：10000 - JDBC服务端口：10001 - Web界面端口：9999 5. Spark（分布式计算框架）： - Master Web界面：8080 - Master通信端口：7077 - Worker通信端口：8581 需要注意的是，这些端口都是默认设置，如果其中某些端口已被占用，需要修改配置文件中的端口号，并重启对应的服务。 ### 回答2： Hadoop是一个由Apache基金会开发的，用于分布式存储和处理大数据的开源软件框架。它主要包括HDFS、YARN、HBase、Hive和Spark等组件。这些组件在使用过程中，都会使用到一些默认端口。下面我来逐一介绍这些组件的默认端口表。 1. HDFS： HDFS是Hadoop的分布式文件系统，它用于存储海量的数据。它的默认端口是8020和50070。 - 8020：这是HDFS的RPC端口，用于处理与客户端的请求。 - 50070：这是HDFS的Web服务端口，用于向用户展示文件系统的整体状态。 2. YARN： YARN是Hadoop的资源管理系统，可以让用户在一个集群中运行各种应用程序。它的默认端口是8088和8030。 - 8088：这是YARN的Web服务端口，用于向用户展示集群整体的状态。 - 8030：这是YARN的RPC端口，用于处理与客户端的请求。 3. HBase： HBase是非关系型数据库，主要用于存储海量的结构化数据。它的默认端口是2181和16010。 - 2181：这是ZooKeeper服务的默认端口，HBase需要使用ZooKeeper来进行协调和管理。 - 16010：这是HBase的Web服务端口，用于向用户展示集群整体的状态。 4. Hive： Hive是一种基于Hadoop的数据仓库工具，可以让用户将结构化数据映射到Hadoop上进行分析。它的默认端口是10000。 - 10000：这是Hive的Thrift服务端口，用于与客户端进行交互。 5. Spark： Spark是一种快速而通用的计算引擎，可以支持Hadoop以外的数据处理。它的默认端口是7077和8080。 - 7077：这是Spark的Master的RPC端口，用于管理集群资源。 - 8080：这是Spark的Web服务端口，用于向用户展示集群整体的状态。 以上就是Hadoop（HDFS、YARN、HBase、Hive和Spark等）默认端口表，希望对大家了解Hadoop组件默认端口有所帮助。 ### 回答3： Hadoop是一个分布式计算框架，由HDFS、Yarn、HBase、Hive和Spark等组件构成。每个组件都有不同的功能和默认端口。以下是Hadoop各组件的默认端口表： 1. HDFS HDFS是Hadoop分布式文件系统，用于存储和管理大规模数据集。默认端口是9000。 2. Yarn Yarn是Hadoop的资源管理器，用于分配集群中的资源以及管理作业。默认端口是8088。 3. HBase HBase是一个非关系型数据库，用于存储海量数据并提供实时随机读写操作。默认端口是16010。 4. Hive Hive是一个数据仓库工具，用于处理大规模数据集。默认端口是10000。 5. Spark Spark是一个快速、通用的大数据处理引擎，主要用于数据处理和机器学习。默认端口是7077。 以上是Hadoop各组件的默认端口表，当然也可以根据配置文件进行修改。在使用Hadoop时，需要注意端口的使用和防火墙配置，确保能够正常地访问和使用各组件。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值