hadoop——常用端口号——常用的配置文件,3.x与2.x区别

原创 已于 2022-05-19 11:07:29 修改 · 406 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #hdfs #big data

于 2022-05-19 11:00:41 首次发布
本文详细介绍了Hadoop 3.x和2.x版本中HDFS NameNode的内部端口（8020/9000/9820/50070）、用户查询端口（9870/50070），YARN任务查看端口（8088），以及各个版本的核心配置文件如core-site.xml、hdfs-site.xml、yarn-site.xml和mapred-site.xml。同时涵盖了历史服务器的端口19888。

常用端口号

hadoop3.x

HDFS NameNode内部通常端口：8020/9000/9820
HDFS NameNode对用户的查询端口：9870
Yarn 查看任务运行情况：8088
历史服务器：19888

hadoop2.x

HDFS NameNode内部通常端口：8020/9000
HDFS NameNode对用户的查询端口：50070
Yarn 查看任务运行情况：8088
历史服务器：19888

常用的配置文件

hadoop3.x

core-site.xml
hdfs-site.xml
yarn-site.xml
mapred-site.xml
workers

hadoop2.x

core-site.xml
hdfs-site.xml
yarn-site.xml
mapred-site.xml
slaves

小魏___
关注
Hadoop3.x安装部署——基础环境配置
爱吃薄荷糖的喵喵的博客
12-18 378
Hadoop安装部署——基础环境配置，编辑配置文件、设置三台虚拟机处于同一个集群、启动Hadoop集群等操作
大数据技术——Hadoop3.X入门搭建+安装调优（1.入门）
m0_52435951的博客
04-10 4279
大数据技术——Hadoop3.X入门搭建+安装调优（1.入门）
hadoop配置文件&&常用的端口配置
追求卓越
04-12 920
配置文件：http://blog.csdn.net/yangjl38/article/details/7583374 Hadoop Shell 讲解：http://www.cnblogs.com/ggjucheng/archive/2012/04/18/2454680.html 端口配置 参数 描述 默认 配置文件 例子值 fs.
hadoop常见端口配置
pengfeijiuwanli的博客
05-18 923
hadoop常见端口配置 常用的端口配置 1. HDFS端口 参数 描述 默认 配置文件 例子值 fs.default.name namenode namenode RPC交互端口 8020 core-site.xml hdfs://master:8020/ dfs.http.address NameNode web管理端口 50070 hdfs- site.xml 0.0.0.0:50070 dfs.datanode.address datanode　控制端口 50010 hdfs
Hadoop默认端口说明
zzhongcy的专栏
02-25 1万+
Hadoop默认端口说明 Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。 这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper。 组件 D
Hadoop中 常用端口说明和相关配置文件
向热爱自己一样，热爱这个世界。
03-28 2729
Hadoop中 常用端口说明和相关配置文件
hadoop集群目录和端口配置（详细）
01-12 3093
参数 描述  默认  配置文件 例子值 dfs.name.dir name node的元数据,以,号隔开,hdfs会把元数据冗余复制到这些目录，一般这些目录是不同的块设备，不存在的目录会被忽略掉 {hadoop.tmp.dir} /dfs/name hdfs-site.xm /hadoop/hdfs/name dfs.name.edits.di
大数据学习——Hadoop3.X集群完全分布式的搭建（超详细）
junR_980218的博客
04-02 4155
提示：避雷Hadoop集群搭建的各种坑！ 文章目录前言一、基础环境的下载二、基础环境安装jdk安装与环境配置2.hadoop安装总结 前言 提示：不是小白你别来！ 提示：以下是本篇文章正文内容，下面案例可供参考 一、基础环境的下载 1: 系统环境 Ubuntu18.04 2: jdk1.8.0_321 下载地址 链接：https://pan.baidu.com/s/1hvGmAISZTVRRTVhLOilYrw 提取码：9802 3: hadoop-3.3.0 下载地址 链接：https://pan.
大数据原生集群 (Hadoop3.X为核心) 本地测试环境搭建一
别人笑我太疯癫，我笑他人看不穿。
08-16 1184
搭建前说明：本篇开始围绕Hadoop3.x大数据组件做集群搭建，将会直接从各组件开始搭建，至于集群的准备工作都是一样的，直接去Hadoop2.x集群搭建一和二里面去看。总体上来讲较新的版本和老版本只是在搭建上有些地方不一样，使用上差别不大。当然本篇用于搭建的3.x集群为了防止影响，使用了一套新的环境，节点任然是三台本篇安装软件版本JAVAJDK1.8 这里不再演示，直接准备就行。
Hive3.X——异常处理Could not create ServerSocket on address 0.0.0.0/0.0.0.0:10000
HoKis
12-12 1213
大数据系列，学到了Hive，搭建环境的时候，因为使用的是本机WSL2，而且网络开启了镜像模式，于是碰到服务始终无法启动的问题。报错信息就是，网上找了一圈也没看到同样的例子。好吧，又得自己解决了。一步一步查下来，又耽误了半天的宝贵学习时间，记录一下，留待有缘人。
hadoop2和hadoop3端口区别表
一只小白
06-05 864
最新的hadoop 3版本端口和2版本在端口尚有所改动，之前没用3版本不知道，运维的过程中才发现有区别，今天做了一下整理，用于记录两者的区别。
Hadoop 端口号及常用配置文件
m0_63648117的博客
02-27 1668
hadoop3.x：HDFS NameNode 内部通常端口：8020 / 9000 / 9820HDFS NameNode 对用户的查询端口： 9870Yarn查看任务运行情况的端口： 8088历史服务器： 19888hadoop2.x：HDFS NameNode 内部通常端口：8020 / 9000HDFS NameNode 对用户的查询端口： 50070Yarn查看任务运行情况的端口： 8088历史服务器： 19888。
Hadoop集群环境配置及安装配置（详细过程包含安装包）
热门推荐
2202_75347029的博客
07-07 5万+
进入到网络配置文件中。快照，是对虚拟机的当前状态进行保存，在虚拟机出现问题无法解决，可以通过返回快照，使虚拟机返回到快照拍摄状态。4.配置jdk软连接 命令：ln -s /export/servers/jdk1.8.0_361 /export/servers/jdk。3.选择克隆对象，一共有两种方式，第一种是直接克隆虚拟机的当前状态，第二种是选取虚拟机的快照，克隆指定快照的虚拟机状态。构建软连接： ln -s /export/servers/jdk/bin/java /usr/bin/java。
HDFS部分端口的区别
zhangvalue的博客
11-22 3187
8020端口：是namenode节点active状态下的端口号 在cd /usr/local/Cellar/hadoop/3.1.1/libexec/etc/hadoop     core-site.xml下的配置： <configuration> <property> <name>hadoop.tmp.dir</name>...
Hadoop常见端口号及配置文件
m0_70962682的博客
11-02 9250
Hadoop常用端口及配置文件
Hadoop之常用端口号
weixin_44484668的博客
03-02 6122
hadoop3.x HDFS NameNode 内部通常端口：8020、9000、9820 HDFS NameNode 对用户的查询端口：9870 Yarn查看任务运行情况的端口：8088 历史服务器：19888 HDFS NameNode 对用户的查询端口：9870，经常查看目录信息，如下图，刚刚上传了两个lzo文件。 ...
hadoop各个端口号的区别
共同进步
11-12 4393
8020端口： /opt/hadoop-2.6.5/etc/hadoop/core-site.xml下的配置： 8020是默认rpc的端口号，一般用于IDE远程使用Hadoop集群，是程序和程序之间的连接。 <property> <name>dfs.namenode.rpc-address.mycluster.nn1</name> <value>node01:8020</value> </property> 9000端口：是H
Hadoop 3.X 和 2.X 的常用端口号和配置文件
hmyqwe的博客
05-26 1万+
Hadoop 常用端口号 Hadoop 3.X HDFS NameNode 内部通信端口：8020/9000/9820 HDFS NameNode HTTP UI：9870 Yarn 查看任务执行端口：8088 历史服务器通信端口：19888 Hadoop 2.X HDFS NameNode 内部通信端口：8020/9000 HDFS NameNode HTTP UI：50070 Yarn 查看任务执行端口：8088 历史服务器通信端口：19888 Hadoop 常用配置文件 Hadoop 3.X
hadoop3.x安装教程
最新发布
05-19
最后可以通过浏览器访问 Web UI 来查看当前状态，默认端口号分别是 Namenode(50070), Resourcemanager(8088)[^3]。 --- ### 示例代码片段 - WordCount 执行流程演示 一旦整个平台搭建完毕后即可尝试简单的例子程序...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值