hadoop-web-常用端口和服务

已于 2025-06-04 15:20:26 修改
阅读量3.3k 收藏 16
点赞数
CC 4.0 BY-SA版权
分类专栏： 路由器环境 大数据库环境 文章标签： 大数据
于 2019-03-08 10:59:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hao_wujing/article/details/88343242
本文汇总了大数据生态系统中常用服务的默认端口号，包括HDFS、YARN、HistoryServer等核心组件，以及Hive、Kafka、Spark等重要工具的访问端口，为大数据平台的管理和维护提供便利。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

http://Master:8088   查看集群状态（需要先启动yarn）

http://Master:50070  查看HDFS系统（适用于2.x版本，1.x版本好像是50030）

http://Master:19888  查看JobHistory（需要先启动jobHistoryserver，执行mr-jobhistory-daemon.sh start historyserver可以启动）

 

1、HDFS界面：http://potter2:50070

 查看NameNode状态;
 该端口的定义位于core-default.xml中，可以在hdfs-site.xml 中修改;
 如果通过该端口看着这个页面，以为着NameNode节点是存活的。

1、HDFS页面：50070

2、YARN的管理界面：8088

3、HistoryServer的管理界面：19888

4、Zookeeper的服务端口号：2181

5、Mysql的服务端口号：3306

6、Hive.server1=10000

7、Kafka的服务端口号：9092

8、azkaban界面：8443

9、Hbase界面：16010,60010

10、Spark的界面：8080

11、Spark的URL：7077
 

 

hadoop端口
bingoabin
11-20 31万+
应用场景 Hadoop部署完分布式集群后，运行了一些组件，会产生很多进程，和web可以访问的端口，容易混淆，这里把一些常见的进程，进程的作用和端口进行归纳，总结，方便区分。 操作步骤1. HDFS进程及端口 HDFS启动后包含的进程有：NameNode，DataNode，SecondaryNameNode 启动方法，在主节点： # cd /opt/hadoop2.6.0/sbin/ #
使用脚本实现hadoop-yarn-flink自动化部署
core815的专栏
11-25 1103
使用脚本实现hadoop-yarn-flink自动化部署
Hadoop 大数据平台常用组件端口号汇总
0x8g1T9E-
03-10 4163
组件 端口及说明 CDH 7180： Cloudera Manager WebUI端口 7182： Cloudera Manager Server 与 Agent 通讯端口 Hadoop 50070：HDFS WEB UI端口 8020 ： 高可用的HDFS RPC端口 9000 ： 非高可用的HDFS RPC端口 8088 ： Yarn 的WEB UI 接口 8485 ： JournalNode 的RPC端口 8019 ： ZKFC端口 ...
Spark，所用几个网页地址
最新发布
2301_80793400的博客
05-06 187
YARN的ResourceManager网址：http://hadoop101:8088。History Server网址：192.168.56.100:18080。HDFS的NameNode网址：http://hadoop100:9870。2. MapReduce：计算。1. HDFS：存储。3. YARN：调度。
Hadoop的各个web界面的地址
热门推荐
potter
04-14 4万+
1、HDFS界面：http://potter2:50070 查看NameNode状态; 该端口的定义位于core-default.xml中，可以在hdfs-site.xml 中修改; 如果通过该端口看着这个页面，以为着NameNode节点是存活的。1、HDFS页面：500702、YARN的管理界面：80883、HistoryServer的管理界面：198884、Zookeeper的服务端口号：21...
hadoop web 端口
mixboot
03-23 1288
1. dfs.namenode.http-address 0.0.0.0:9870 2. dfs.datanode.http.address 0.0.0.0:9864 3. dfs.namenode.secondary.http-address 0.0.0.0:9868 参考： 1.hadoop web 端口
Hadoop常用端口web界面
m0_45993982的博客
07-01 1815
1、HDFS页面：50070 2、YARN的管理界面：8088 3、Zookeeper的服务端口号：2181 4、Kafka的服务端口号：9092 5、azkaban界面：8443 6、Hbase界面：16010,60010 7、Spark的界面：8080 8、Supervisor: 9001
hadoop常用地址
qq_41081716的博客
08-30 436
java："/opt/homebrew/Cellar/openjdk/22.0.1/libexec/openjdk.jdk/Contents/Home"
idea hadoop-hdfs插件
12-19
1. 文件浏览：用户可以直接在IDEA中查看HDFS上的文件和目录结构，无需通过命令行或Hadoop的Web界面进行操作，极大地提升了开发人员的工作效率。 2. 文件上传与下载：支持直接将本地文件上传到HDFS，或者从HDFS下载...
Hadoop端口号全解析：掌握这些端口，轻松驾驭大数据集群，一文读懂常用端口号及其作用！
小白的大数据之旅的博客
08-14 2583
MapReduce作业的执行情况主要通过YARN ResourceManager的Web UI（即8088端口）来查看。虽然MapReduce本身不直接提供特定的Web UI端口，但其作业的日志和输出通常会存储在HDFS上，因此与HDFS相关的端口（如50070或9870，取决于Hadoop的版本）也可能用于间接地查看MapReduce作业的输出和日志。
hadoop web项目
06-16
hadoop web项目的改进版，新增ajax技术。ajax主要是在浏览器中输入hdfs路径时的后台检查和在监控任务执行状态时使用ajax去和后台交互，获取job信息。
hadoop需要注意几个组件端口
03-07
ambari离线安装hadoop,及其它组件，配置文件中产看相关ip及端口号
Hadoop-HDFS详解与HA，完全分布式集群搭建(细到令人发指的教程)
wudidahuanggua的博客
09-17 4011
对HDFS细致到腋毛的讲解，包括HA，完全分布式集群搭建，以及让你打瞌睡的理论知识！
DataX-Web源码Idea编译部署手册源码idea编译部署手册
理论都是虚的，代码才是王道。
03-26 1777
分别在datax-admin（datax-web\datax-admin\pom.xml）和datax-executor（datax-web\datax-executor\pom.xml）下面的pom.xml文件中添加文件中添加如下内容。3、将datax-admin下的target/classes/mybatis-mapper下的所有xml文件拷贝进datax-admin-2.1.2.jar下的BOOT-INF\classes\mybatis-mapper下。
Hadoop 常用端口号
代妈炼金术师
01-10 3435
请注意，这些是Hadoop组件的标准默认端口，实际部署过程中可以根据需要在配置文件中修改。同时，不同版本的Hadoop可能对某些端口有所调整，请以具体部署环境的实际配置为准。
hadoop常用的端口号
星空下的那个人影
04-16 2932
dfs.namenode.http-address:50070 dfs.datanode.http-address:50075 SecondaryNamenode:50090 dfs.datanode.address:50090 fs.defaultFS:8020或者9000 yarn.resourcemanager.webapp.address:8088 历史服务器web访问端口:19888
Hadoop 3.0 的namenode 的web访问端口
qq_40877166的博客
08-07 3530
Hadoop 3.0 的namenode 的web默认访问端口为9870
Hadoop 端口号及常用配置文件
m0_63648117的博客
02-27 1607
hadoop3.x：HDFS NameNode 内部通常端口：8020 / 9000 / 9820HDFS NameNode 对用户的查询端口： 9870Yarn查看任务运行情况的端口： 8088历史服务器： 19888hadoop2.x：HDFS NameNode 内部通常端口：8020 / 9000HDFS NameNode 对用户的查询端口： 50070Yarn查看任务运行情况的端口： 8088历史服务器： 19888。
slave2-hadoop - root
02-11
### Hadoop集群中Slave2节点Root权限配置解决方案 在Hadoop集群环境中，确保各个节点之间的通信顺畅以及安全设置至关重要。对于slave2节点上的root权限问题或配置信息，主要涉及以下几个方面： #### 1. SSH无密码登录配置 为了使Master能够顺利管理各Slave节点，在所有节点间建立SSH免密登录是非常必要的。这通常由root用户完成，因此需要确认从master到slave2的SSH连接是否正常工作，并且不需要输入密码即可访问。 ```bash ssh-copy-id root@slave2 ``` 这条命令会将当前机器（通常是master）的公钥复制到目标服务器（这里是slave2），从而实现无需密码验证就能通过SSH远程登录[^2]。 #### 2. 修改/etc/hosts文件映射 确保每台计算机都能正确解析其他成员的名字为IP地址。编辑`/etc/hosts`文件来添加集群内所有主机的信息，包括master和其他slaves。这对于防止因DNS查询失败而导致的问题非常重要。 ```plaintext # Example entry in /etc/hosts on all nodes 192.168.x.y master 192.168.x.z slave2 ... ``` 这样可以保证即使在网络环境不稳定的情况下也能保持良好的连通性[^4]。 #### 3. 设置适当的服务账户权限 虽然很多操作可以通过root来进行，但在实际生产环境中不建议频繁使用root账号运行服务程序。应该创建专门用于运行Hadoop进程的普通用户（比如hadoop）。给该用户分配足够的权限以满足日常运维需求的同时也降低了潜在风险。 ```bash sudo addgroup hadoop sudo useradd -m -G hadoop hduser sudo chown -R hduser:hadoop /usr/local/hadoop/ ``` 这段脚本展示了如何新建一个名为hduser的新用户并将其加入到hadoop组里；接着改变指定目录下的所有权归属以便让新用户拥有对该路径下资源的操作权利[^1]。 #### 4. 调整防火墙规则允许必要端口通讯 如果启用了Linux自带的firewalld或其他类型的防火墙，则需开放一些特定端口号供HDFS、YARN等组件之间互相调用所需。具体哪些端口要看所部署版本而定，一般情况下至少要打开如下几个常用范围内的端口: - NameNode Web UI (HTTP): 50070/tcp - DataNodes RPC Port: 50010/tcp, 50020/tcp - SecondaryNameNode HTTP Server: 50090/tcp - ResourceManager Web App: 8088/tcp - NodeManager Localizer: 8040/tcp, 8042/tcp 可通过以下方式查看现有策略并将上述提到的相关条目添加进去： ```bash firewall-cmd --list-all firewall-cmd --zone=public --add-port=50070/tcp --permanent systemctl restart firewalld.service ``` 以上措施有助于解决可能出现于slave2节点处关于root权限方面的困扰，同时也提高了整个系统的稳定性和安全性[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值