hadoop服务监听到的端口

最新推荐文章于 2025-05-26 10:35:11 发布
最新推荐文章于 2025-05-26 10:35:11 发布
阅读量3.9k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： hadoop进阶之路
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_25628891/article/details/79051892 
netstat -ntlp
jps

这里写图片描述

这里写图片描述

  • namenode PID 19549

  • namenode监听到的端口
    -192.168.220.128:50070 #namenode对外提供的http服务，通过这个服务可以查看hdfs集群的状态
    -192.168.220.128:9000 #namenode对外提供的rpc服务的端口(比如客户端的交互，元数据的获取等)

    这里写图片描述

  • DataNode PID 14163

  • DataNode监听到的端口

    • 0 0.0.0.0:50010 #The datanode server address and port for data transfer. 传数据用的
    • 0 0.0.0.0:50075 #The datanode http server address and port. http端口
    • 0 0.0.0.0:50020 #The datanode ipc server address and port.. ipc端口
    • 0 127.0.0.1:43755

  • NodeManager PID 14321

  • NodeManager 监听到的端口

    • 0 0.0.0.0:13562
    • 0 0.0.0.0:8040 #Address where the localizer IPC is. ipc端口
    • 0 0.0.0.0:8042 #NM Webapp address. http端口

    这里写图片描述

hadoop端口
bingoabin
11-20 31万+
应用场景 Hadoop部署完分布式集群后，运行了一些组件，会产生很多进程，和web可以访问的端口，容易混淆，这里把一些常见的进程，进程的作用和端口进行归纳，总结，方便区分。 操作步骤1. HDFS进程及端口 HDFS启动后包含的进程有：NameNode，DataNode，SecondaryNameNode 启动方法，在主节点： # cd /opt/hadoop2.6.0/sbin/ #
Hadoop 配置参数摘要和默认端口整理
BIT工匠
12-03 2717
core-site.xml http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/core-default.xml 配置项 中文含义 英文含义 示例 官方默认值 fs.de
Hadoop 2.x常用端口及查看方法
SunWuKong_Hadoop的博客
03-08 6713
一、常用端口 组件 节点 默认端口 配置 用途说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口，用于数据传输 HDFS DataNode 50075 dfs.datanode.http.address http服务的端
HADOOP学习笔记之---3、HADOOP端口和配置文件
weixin_34321977的博客
08-29 458
一、Hadoop进程监听的地址和端口：Hadoop启动时会运行两个服务器进程，一个为用于hadoop各进程间进行通信的RPC服务进程，另一个是提供了便于管理员查看hadoop集群各进程相关信息页面的http服务进程。用于定义各RPC服务器所监听的地址和端口的属性有如下几个：fs.default.name : 定义HDFS的namenode用于提供URI所监听的...
Hadoop常用端口号和配置文件
最新发布
jiedaodezhuti的博客
05-26 460
访问MR执行情况端口。
hadoop 常用端口记录
qq_22478923的博客
02-20 8646
端口 用途 9000 fs.defaultFS，如：hdfs://172.25.40.171:9000 9001 dfs.namenode.rpc-address，DataNode会连接这个端口 50070 dfs.namenode.http-address 50470 dfs.namenode.https-ad
MapReduce配置与优化
热门推荐
梓纾的专栏
01-03 1万+
1. 流程简介参考MapReduce学习笔记之简介（一）2. 配置详解core-site.xml是全局配置，hdfs-site.xml和mapred-site.xml分别是hdfs和mapred的局部配置。本文配置基于2.7.3版本。另外只列出了部分属性。2.1 core-default.xml 选项 默认值 描述 hadoop.tmp.dir /tmp/hadoop-${user
MapReduce
qirenzhiyou的博客
06-27 493
MapReduce是hadoop体系下的一种计算模型(计算框架|编程框架),分布式计算框架。 主要是用来通过代码，对存储在hdfs上的数据进行读取、统计,分析
大数据各组件默认端口号汇总
静待花开
07-23 3492
Hadoop：         50070：HDFS WEB UI端口     8020 ： 高可用的HDFS RPC端口     9000 ： 非高可用的HDFS RPC端口     8088 ： Yarn 的WEB UI 接口     8485 ： JournalNode 的RPC端口     8019 ： ZKFC端口    19888：jobhistory WEB UI端口 ...
hadoop2.7.7运行程序wordcount出错
qq_41750529的博客
12-03 1070
/************************************************************ STARTUP_MSG: Starting NodeManager STARTUP_MSG:   host = slave2/192.168.56.102 STARTUP_MSG:   args = [] STARTUP_MSG:   version = 2.7.7 STAR...
datanode无法连接到namenode
aoli2193的博客
08-24 940
datanode无法连接到namenode namenode在清空hadoop.tmp.dir和namenode.dir文件夹重新格式化后，datanode还是无法连接到namenode并报错： hdfs.server.datanode.DataNode: Problem connecting to server: ligfoo/192.168.80.11:9000 datanod...
构建Hadoop集群
jjj03230304的博客
12-03 302
集群规范         Hadopp运行在商业硬件上。用户可以选择普通硬件供应商生产的标准化的、广泛有效的硬件来构建集群。Hadoop一般使用多核CPU和多磁盘，以充分利用硬件的强大功能。（建议采用ECC内存，因为非ECC内存会产生校验和错误。）         注：为何不使用RAID？尽管建议采用RAID作为namenode的存储器以保护元数据，但是若将RAID作为datanode的存...
YARN NodeManager Restart 特性
MAYIBO—BG的专栏
10-19 2090
目录 概述 配置 概述   NodeManager (NM) restart 是一个使 NodeManager 能够在不丢失节点上运行的活动 container 的情况下重新启动的功能。在高级别上，NM 在处理 container-management 请求时将任何必要的状态存储到本地 state-store 中。当NM重新启动时，它首先为各个子系统加载状态，然后使这些子系统从之前的状态中恢复...
hadoop somaxconn 配置优化
心中永远的正能量
05-01 2544
2017-04-26 03:41:59,354 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Exception for BP-1687617170-10.8.211.11-1404135347814:blk_8843355098_1109841848870 java.net.SocketTimeoutException: 60000
最简单的方式玩转Hadoop集群
大鱼的博客
08-26 751
Hadoop作为大数据不可必备的载体和工具，今天就来玩一下，绝对超级简单，不会你搭建环境 首先简单介绍 一下概念: Hadoop主要分为三个部分: hdfs：这是Hadoop专门用来存文件的，所有的文件 都是储存在这个上面 mapreduce：这个是Hadoop的计算引擎，光有了数据，我们肯定还得计算，不然大数据光存数据也没意义，不过现在基本上不用这个进行开发，取而代之的是hive，当然还有很多计算引擎，比如spark yarm：Hadoop的任务调度的工具 了解这些以后，我们知道其实现在的Had
hadoop2.x常用端口及定义方法
Dustin_CDS的博客
02-09 6350
端口 Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper: 组件 节点 默认端口 配置 用途说明 H
Hadoop端口一览表
weixin_30788619的博客
01-12 291
Hadoop端口一览表 @(Hadoop) 端口名 用途 50070 Hadoop Namenode UI端口 50075 Hadoop Datanode UI端口 50090 Hadoop SecondaryNamenode 端口 50030 JobTracker监控端口 50060 Ta...
Hadoop常用端口号
果子哥丶的博客
02-19 3595
一、常用端口 组件 节点 默认端口 配置 用途说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口，用于数据传输 HDFS DataNode 50075 dfs.datanode.http.address http服务的端口 HDFS DataNode 50475 dfs.datanode.https.address https服务的端口 HDFS DataNode 50020 dfs.datanode.ipc.address ipc服务的端口 H
Hadoop集群测试8088端口访问不到
03-29
### Hadoop 集群 8088 端口访问失败的原因分析 Hadoop 的 YARN 资源管理器提供了一个 Web UI，默认运行在 8088 端口上。如果该端口无法访问，可能由多种因素引起。以下是常见的原因及其对应的解决方案： #### 1. **YARN Site 配置缺失** 如果 `yarn-site.xml` 文件中缺少必要的配置项，则可能导致 ResourceManager 未绑定到正确的地址或端口。需要确认以下属性是否存在并设置正确： ```xml <property> <name>yarn.resourcemanager.webapp.address</name> <value>0.0.0.0:8088</value> </property> ``` 修改完成后需重启 YARN 服务以使更改生效[^1]。 #### 2. **主机名解析问题** 当 `/etc/hosts` 文件中的映射不正确时，可能会导致 ResourceManager 启动后监听的是本地回环地址而非实际网络接口地址。例如，如果主机名为 `hadoop2020a`，但在 `/etc/hosts` 中仅定义了 `localhost` 映射，则会引发此问题。应确保 `/etc/hosts` 正确指向集群节点的实际 IP 地址[^4]: ``` 192.168.61.1 hadoop2020a ``` #### 3. **防火墙阻止访问** 某些情况下，操作系统自带的防火墙或其他安全软件可能屏蔽了外部对 8088 端口的请求。可以通过以下命令检查并关闭防火墙： ```bash sudo systemctl status firewalld sudo systemctl stop firewalld ``` 或者允许特定端口通过防火墙规则： ```bash sudo firewall-cmd --zone=public --add-port=8088/tcp --permanent sudo firewall-cmd --reload ``` #### 4. **临时文件残留** 若之前的启动过程中出现了异常终止情况，某些临时文件可能仍保留于系统中，从而干扰新实例的正常启动。可以尝试清理 `/tmp` 目录下的相关进程记录后再重新初始化集群: ```bash rm -rf /tmp/hadoop-* start-dfs.sh && start-yarn.sh ``` #### 5. **环境变量未加载** Java 和 Hadoop 的全局路径如果没有被正确导入至当前 shell session，也可能影响组件间的通信状态。建议每次登录服务器后执行一次 profile 初始化操作来验证环境变量是否有效: ```bash source /etc/profile jps ``` #### 6. **数据目录污染** 曾经手动编辑过核心参数或者强制中断程序运行的情况下，DFS 数据存储区域可能存在损坏现象。此时应当先清除原有内容再做格式化处理[^2]: ```bash rm -r $HADOOP_HOME/hdfs/name/* rm -r $HADOOP_HOME/hdfs/data/* hdfs namenode -format ``` 以上列举了几种常见场景下造成 8088 不可达的主要诱因及对应处置措施。具体实施前还需结合实际情况逐一排查定位根本所在。 ```python import socket def check_port(host, port): """检测指定IP与端口号是否开放""" s = socket.socket(socket.AF_INET, socket.SOCK_STREAM) try: result = s.connect_ex((host, int(port))) if result == 0: print(f"{port} is open on {host}.") else: print(f"{port} seems closed or unreachable.") except Exception as e: print(e) finally: s.close() check_port('your-host-ip', '8088') ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值