Spark几个重要的端口汇总

最新推荐文章于 2025-08-06 23:59:44 发布
最新推荐文章于 2025-08-06 23:59:44 发布
阅读量3.8k 收藏 7
点赞数
CC 4.0 BY-SA版权
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43892898/article/details/88701365
博客汇总了常见大数据组件的端口号，包括HDFS、journalnode、yarn、spark等。如HDFS webUI端口号为50070，yarn的webUI端口号为8088，spark基于standalone提交任务的端口号为7077等，为信息技术领域相关人员提供参考。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

50070：HDFSwebUI的端口号

8485:journalnode默认的端口号

9000：非高可用访问数rpc端口

8020：高可用访问数据rpc

8088：yarn的webUI的端口号

8080：master的webUI，Tomcat的端口号

7077：spark基于standalone的提交任务的端口号

8081：worker的webUI的端口号

18080：historyServer的webUI的端口号

4040：application的webUI的端口号

2181：zookeeper的rpc端口号

9083：hive的metastore的端口号

60010：Hbase的webUI的端口号

6379：Redis的端口号

8080：sparkwebUI的端口号

Hadoop-Spark几个重要的端口汇总
someInNeed的博客
06-30 2017
50070：HDFSwebUI的端口号 8485:journalnode默认的端口号 9000：非高可用访问数rpc端口 8020：高可用访问数据rpc 8088：yarn的webUI的端口号 8080：master的webUI，Tomcat的端口号 7077：spark基于standalone的提交任务的端口号 8081：worker的webUI的端口号 18080：histor...
Hadoop（HDFS、YARN、HBase、Hive和Spark等）默认端口表
10-29
端口 作用 9000 fs.defaultFS，如：hdfs://172.25.40.171:9000 9001 dfs.namenode.rpc-address，DataNode会连接这个端口 50070 dfs.namenode.http-address 50470 dfs.namenode.https-address 50100 dfs.namenode.backup.address 50105 dfs.namenode.backup.http-address 50090 dfs.namenode.secondary.http-address，如：172.25.39.166:50090 50091 dfs.namenode.secondary.https-address，如：172.25.39.166:50091 50020 dfs.datanode.ipc.address 50075 dfs.datanode.http.address 50475 dfs.datanode.https.address 50010 dfs.datanode.address，DataNode的数据传输端口 8480 dfs.journalnode.rpc-address 8481 dfs.journalnode.https-address 8032 yarn.resourcemanager.address
Spark部分：几个重要的端口汇总
热门推荐
wyqwilliam的博客
08-12 1万+
50070：HDFSwebUI的端口号 8485:journalnode默认的端口号 9000：非高可用访问数rpc端口 8020：高可用访问数据rpc 8088：yarn的webUI的端口号 8080：master的webUI，Tomcat的端口号 7077：spark基于standalone的提交任务的端口号 8081：worker的webUI的端口号 18080：histor...
Spark端口
tangfatter的博客
12-23 5735
一、4040端口 spark任务运行后，会将Driver所在机器绑定到4040端口，提供当前任务的监控页面。 此端口号默认为4040，展示信息如下： 调度器阶段和任务列表 RDD大小和内存使用情况 环境信息 正在运行的executors的信息 演示如下： 通过spark的java接口启动spark SparkConf sc = new SparkConf(); // 创建一个SpakrConf对象用于配置Spark sc.setAppName("name") // 设定程序名字
spark端口
weixin_34096182的博客
04-17 902
为什么80%的码农都做不了架构师？>>> ...
spark默认端口
weixin_42487706的博客
04-23 4227
8080：master的webUI，sparkwebUI的端口 7077：提交任务的端口 8081：worker的webUI的端口 18080：historyServer的webUI的端口 4040：application的webUI的端口
SparkStreaming
asd623444055的博客
05-07 416
一、Spark Streaming概述 1.离线和实时概念 数据处理的延迟 离线计算 就是在计算开始前已知所有输入数据，输入数据不会产生变化，一般计算量级较大，计算时间也较长。例如今天早上一点，把昨天累积的日志，计算出所需结果。最经典的就是Hadoop的MapReduce方式； 实时计算 输入数据是可以以序列化的方式一个个输入并进行处理的，也就是说在开始的时候并不需要知道所有的输入数据。与离线计算相比，运行时间短，计算量级相对较小。强调计算过程的时间要短，即所查当下给出结果。 2.批量和流式概念
Spark--一文了解WebUI_spark web ui
2401_89791770的博客
01-12 766
StatusDAG图。
spark常见问题错误 汇总
我丶怀念的的博客
08-13 5813
  一.经验 1.Spark Streaming包含三种计算模式：nonstate .stateful .window 2.kafka可通过配置文件使用自带的zookeeper集群 3.Spark一切操作归根结底是对RDD的操作 4.部署Spark任务，不用拷贝整个架包，只需拷贝被修改的文件，然后在目标服务器上编译打包。 5.kafka的log.dirs不要设置成/tmp下的目录，貌似...
Spark快速入门系列（一）了解Spark 与Spark的简单使用
weixin_45417821的博客
08-23 5439
文章目录1.Spark概述1.1. Spark是什么1.2. Spark的特点(优点)1.3. Spark组件1.4. Spark和Hadoop的异同2.Spark集群的搭建2.1. Spark 集群结构2.2. Spark 集群搭建2.3. Spark 集群高可用搭建2.4. 第一个应用的运行3.Spark入门3.1. Spark shell 的方式编写 WordCount3.2. 读取 HDFS 上的文件3.3. 编写独立应用提交 Spark 任务 1.Spark概述 目标 Spark 是什么 ? Sp
spark -- 数据计算框架
weixin_46362494的博客
11-28 1122
spark作为大数据组件中不可或缺的一大部分 是我们学习和了解大数据的过程中必须要经历和学习的部分 本人将自己当初学习大数据的一点点心得和体会作为笔记 希望可以给同样在学习大数据同学提供一点点的帮助 同时也希望可以得到大家的指正。
Spark重要端口号
大黄的博客
09-13 4560
对于搞大数据开发的人来说，一些常用的端口号还是必须要记住的，这里列举几个常用的端口号（不限于spark）. 50070： HDFS webUI的端口。 18080：spark HistoryServer的webUI的端口。 8080：spark master的webUI端口，同时也是Tomcat的端口。 8081： Flink master的webUI端口，同时也是spark worker的webUI端口。 2181：zookeeper的rpc（Remote Procedure Call）端口。
spark端口实验总结：
ningyanggege的博客
01-25 878
Spark的端口总结 Master节点的web端口是8080,work节点的web端口是8081       spark master web ui 默认端口为8080，当系统有其它程序也在使用该接口（比如:Tomcat）时，启动master时也不会报错，spark自己会改用其它端口，自动端口号加1,也可以自行设置,修改方法: 1、cd $SPARK_HOME/sbin 2、vi...
spark常见端口号
Peanut的博客
09-18 9233
1）Spark历史服务器端口号：18080 （类比于Hadoop历史服务器端口号：19888） 2）Spark Master Web端口号：8080（类比于Hadoop的NameNode Web端口号：9870(50070)） 3）Spark Master内部通信服务端口号：7077 （类比于Hadoop（高版本）的8020(9000)端口） 4）Spark查看当前Spark-shell运行任务情况端口号：4040 5）Hadoop YARN任务运行情况查看端口号：8088 ...
Hadoop服务端口号、Spark端口号、Hive端口号以及启动命令
m0_70882914的博客
10-09 1052
Hadoop服务端口号、Spark端口号、Hive端口号以及启动命令
Spark端口号总结
h8_h1的博客
06-23 786
Spark端口号 1 Spark查看当前Spark-shell运行任务情况端口号：4040 2 Spark Master内部通信服务端口号：7077 （类比于Hadoop的8020（9000）端口） 3 Spark Standalone模式Master Web端口号：8080（类比于Hadoop YARN任务运行情况查看端口号：8088） 4 Spark历史服务器端口号：18080 （类比于Hadoop历史服务器端口号：19888） ...
Spark常用的端口号
最新发布
weixin_51243388的博客
08-06 74
standalone模式下，spark master web端口号：8080（资源）查看当前spark-shell运行任务情况的端口号：4040（计算）hadoop yarn任务运行情况查看的端口号：8088。spark master内部通信服务端口号：7077。spark历史服务器端口号：18080。
大数据之 Spark 常用的端口号
代妈炼金术师
01-19 3018
7077，这是 Spark 在 Standalone 模式下的主节点（Master）与 Worker 节点通信的服务端口，客户端提交应用时也会连接此端口。：18080，历史服务器提供已完成作业的持久化存储和查询功能，用户可以在此端口下查看过去运行过的所有 Spark 应用的相关统计信息。：默认为 8080，但这个端口可能会根据实际情况自动调整或手动配置，用户可以通过该端口查看集群的总体状态和各个应用程序的信息。：默认情况下，Worker 的 Web UI 端口可能不是固定的，通常会是。
Spark常用端口号
mischen520的博客
06-05 4060
1）Spark查看当前Spark-shell运行任务情况端口号：4040 2）Spark Master内部通信服务端口号：7077 （类比于Hadoop的8020（9000）端口） 3）Spark Standalone模式Master Web端口号：8080（类比于Hadoop YARN任务运行情况查看端口号：8088） 4）Spark历史服务器端口号：18080 （类比于Hadoop历史服务器端口号：19888） ...
spark怎么改默认端口
02-27
首先，我应该确认用户指的是哪个组件的端口，因为Spark有多个组件，比如Master、Worker、Web UI等等，每个都有不同的默认端口。用户可能不太清楚具体是哪个，所以我需要先解释一下常见的端口配置。 接下来，我应该...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值