hadoop——常用端口号——常用的配置文件,3.x与2.x区别

原创 已于 2022-05-19 11:07:29 修改 · 406 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #hdfs #big data

于 2022-05-19 11:00:41 首次发布
本文详细介绍了Hadoop 3.x和2.x版本中HDFS NameNode的内部端口（8020/9000/9820/50070）、用户查询端口（9870/50070），YARN任务查看端口（8088），以及各个版本的核心配置文件如core-site.xml、hdfs-site.xml、yarn-site.xml和mapred-site.xml。同时涵盖了历史服务器的端口19888。

常用端口号

hadoop3.x

HDFS NameNode内部通常端口：8020/9000/9820
HDFS NameNode对用户的查询端口：9870
Yarn 查看任务运行情况：8088
历史服务器：19888

hadoop2.x

HDFS NameNode内部通常端口：8020/9000
HDFS NameNode对用户的查询端口：50070
Yarn 查看任务运行情况：8088
历史服务器：19888

常用的配置文件

hadoop3.x

core-site.xml
hdfs-site.xml
yarn-site.xml
mapred-site.xml
workers

hadoop2.x

core-site.xml
hdfs-site.xml
yarn-site.xml
mapred-site.xml
slaves

小魏___
关注
Hadoop3.x安装部署——基础环境配置
爱吃薄荷糖的喵喵的博客
12-18 378
Hadoop安装部署——基础环境配置，编辑配置文件、设置三台虚拟机处于同一个集群、启动Hadoop集群等操作
大数据技术——Hadoop3.X入门搭建+安装调优（1.入门）
m0_52435951的博客
04-10 4279
大数据技术——Hadoop3.X入门搭建+安装调优（1.入门）
hadoop配置文件&&常用的端口配置
追求卓越
04-12 920
配置文件：http://blog.csdn.net/yangjl38/article/details/7583374 Hadoop Shell 讲解：http://www.cnblogs.com/ggjucheng/archive/2012/04/18/2454680.html 端口配置 参数 描述 默认 配置文件 例子值 fs.
hadoop常见端口配置
pengfeijiuwanli的博客
05-18 923
hadoop常见端口配置 常用的端口配置 1. HDFS端口 参数 描述 默认 配置文件 例子值 fs.default.name namenode namenode RPC交互端口 8020 core-site.xml hdfs://master:8020/ dfs.http.address NameNode web管理端口 50070 hdfs- site.xml 0.0.0.0:50070 dfs.datanode.address datanode　控制端口 50010 hdfs
Hadoop默认端口说明
zzhongcy的专栏
02-25 1万+
Hadoop默认端口说明 Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。 这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper。 组件 D
Hadoop中 常用端口说明和相关配置文件
向热爱自己一样，热爱这个世界。
03-28 2729
Hadoop中 常用端口说明和相关配置文件
hadoop集群目录和端口配置（详细）
01-12 3093
参数 描述  默认  配置文件 例子值 dfs.name.dir name node的元数据,以,号隔开,hdfs会把元数据冗余复制到这些目录，一般这些目录是不同的块设备，不存在的目录会被忽略掉 {hadoop.tmp.dir} /dfs/name hdfs-site.xm /hadoop/hdfs/name dfs.name.edits.di
大数据学习——Hadoop3.X集群完全分布式的搭建（超详细）
junR_980218的博客
04-02 4155
提示：避雷Hadoop集群搭建的各种坑！ 文章目录前言一、基础环境的下载二、基础环境安装jdk安装与环境配置2.hadoop安装总结 前言 提示：不是小白你别来！ 提示：以下是本篇文章正文内容，下面案例可供参考 一、基础环境的下载 1: 系统环境 Ubuntu18.04 2: jdk1.8.0_321 下载地址 链接：https://pan.baidu.com/s/1hvGmAISZTVRRTVhLOilYrw 提取码：9802 3: hadoop-3.3.0 下载地址 链接：https://pan.
大数据原生集群 (Hadoop3.X为核心) 本地测试环境搭建一
别人笑我太疯癫，我笑他人看不穿。
08-16 1184
搭建前说明：本篇开始围绕Hadoop3.x大数据组件做集群搭建，将会直接从各组件开始搭建，至于集群的准备工作都是一样的，直接去Hadoop2.x集群搭建一和二里面去看。总体上来讲较新的版本和老版本只是在搭建上有些地方不一样，使用上差别不大。当然本篇用于搭建的3.x集群为了防止影响，使用了一套新的环境，节点任然是三台本篇安装软件版本JAVAJDK1.8 这里不再演示，直接准备就行。
Hive3.X——异常处理Could not create ServerSocket on address 0.0.0.0/0.0.0.0:10000
HoKis
12-12 1213
大数据系列，学到了Hive，搭建环境的时候，因为使用的是本机WSL2，而且网络开启了镜像模式，于是碰到服务始终无法启动的问题。报错信息就是，网上找了一圈也没看到同样的例子。好吧，又得自己解决了。一步一步查下来，又耽误了半天的宝贵学习时间，记录一下，留待有缘人。
hadoop2和hadoop3端口区别表
一只小白
06-05 864
最新的hadoop 3版本端口和2版本在端口尚有所改动，之前没用3版本不知道，运维的过程中才发现有区别，今天做了一下整理，用于记录两者的区别。
Hadoop 端口号及常用配置文件
m0_63648117的博客
02-27 1668
hadoop3.x：HDFS NameNode 内部通常端口：8020 / 9000 / 9820HDFS NameNode 对用户的查询端口： 9870Yarn查看任务运行情况的端口： 8088历史服务器： 19888hadoop2.x：HDFS NameNode 内部通常端口：8020 / 9000HDFS NameNode 对用户的查询端口： 50070Yarn查看任务运行情况的端口： 8088历史服务器： 19888。
Hadoop集群环境配置及安装配置（详细过程包含安装包）
热门推荐
2202_75347029的博客
07-07 5万+
进入到网络配置文件中。快照，是对虚拟机的当前状态进行保存，在虚拟机出现问题无法解决，可以通过返回快照，使虚拟机返回到快照拍摄状态。4.配置jdk软连接 命令：ln -s /export/servers/jdk1.8.0_361 /export/servers/jdk。3.选择克隆对象，一共有两种方式，第一种是直接克隆虚拟机的当前状态，第二种是选取虚拟机的快照，克隆指定快照的虚拟机状态。构建软连接： ln -s /export/servers/jdk/bin/java /usr/bin/java。
HDFS部分端口的区别
zhangvalue的博客
11-22 3188
8020端口：是namenode节点active状态下的端口号 在cd /usr/local/Cellar/hadoop/3.1.1/libexec/etc/hadoop     core-site.xml下的配置： <configuration> <property> <name>hadoop.tmp.dir</name>...
Hadoop常见端口号及配置文件
m0_70962682的博客
11-02 9250
Hadoop常用端口及配置文件
Hadoop之常用端口号
weixin_44484668的博客
03-02 6122
hadoop3.x HDFS NameNode 内部通常端口：8020、9000、9820 HDFS NameNode 对用户的查询端口：9870 Yarn查看任务运行情况的端口：8088 历史服务器：19888 HDFS NameNode 对用户的查询端口：9870，经常查看目录信息，如下图，刚刚上传了两个lzo文件。 ...
hadoop各个端口号的区别
共同进步
11-12 4393
8020端口： /opt/hadoop-2.6.5/etc/hadoop/core-site.xml下的配置： 8020是默认rpc的端口号，一般用于IDE远程使用Hadoop集群，是程序和程序之间的连接。 <property> <name>dfs.namenode.rpc-address.mycluster.nn1</name> <value>node01:8020</value> </property> 9000端口：是H
Hadoop 3.X 和 2.X 的常用端口号和配置文件
hmyqwe的博客
05-26 1万+
Hadoop 常用端口号 Hadoop 3.X HDFS NameNode 内部通信端口：8020/9000/9820 HDFS NameNode HTTP UI：9870 Yarn 查看任务执行端口：8088 历史服务器通信端口：19888 Hadoop 2.X HDFS NameNode 内部通信端口：8020/9000 HDFS NameNode HTTP UI：50070 Yarn 查看任务执行端口：8088 历史服务器通信端口：19888 Hadoop 常用配置文件 Hadoop 3.X
hadoop3.x安装教程
最新发布
05-19
### Hadoop 3.x 安装指南 Hadoop 是一种分布式计算框架，用于处理大规模数据集。以下是关于 Hadoop 3.x 版本安装的相关说明。 #### 单节点环境配置 对于单节点测试或开发用途的 Hadoop 配置，可以参考官方文档中的指导[^3]。此部分主要涉及本地机器上的依赖项设置以及基本参数调整。通常情况下，在开始集群部署之前，建议先完成单机版的验证工作以确认所有必要的组件均已正确安装并正常运行[^2]。 #### 下载与解压 获取最新稳定发布的 tarball 文件可以从 Apache 软件基金会官方网站下载页面找到对应链接地址；例如 `hadoop-3.x.x.tar.gz` 这样的压缩包形式发布出来之后会被放置于指定目录下如 `/home/user/` 中以便后续操作使用[^1]。 #### 环境变量设定 为了使命令行工具能够识别到 Hadoop 的位置及相关库路径，则需编辑用户的 shell profile 文件 (比如 `.bashrc`) 添加如下几条记录： ```bash export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export HADOOP_HOME=/path/to/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 注意这里假设 JDK 已经被预先安裝好，并且版本满足最低需求标准之上——即 Java SE Development Kit 8 或更高版本[^3]。 #### 修改核心站点XML文件 接下来要做的就是针对几个重要的 XML 格式的配置档进行自定义更改来适应特定应用场景下的需求: - **core-site.xml**: 设置默认FS URI 和其他全局属性. - **hdfs-site.xml**: 规定 NameNode 数据存储地点以及其他 DFS 参数 . - **mapred-site.xml**: MapReduce 框架专属选项定义处所位于该档案里头. - **yarn-site.xml**: ResourceManager 及 NodeManager 行为控制在此实现. 具体样例可参阅官网给出的例子作为模板来进行修改适配过程. #### 启动服务进程 当所有的前期准备工作都已完成之后就可以依次启动各个子系统的守护线程了。通过执行以下脚本来达成目的: ```bash $HADOOP_HOME/sbin/start-dfs.sh # Start Distributed File System services $HADOOP_HOME/sbin/start-yarn.sh # Start Yet Another Resource Negotiator service ``` 最后可以通过浏览器访问 Web UI 来查看当前状态，默认端口号分别是 Namenode(50070), Resourcemanager(8088)[^3]。 --- ### 示例代码片段 - WordCount 执行流程演示 一旦整个平台搭建完毕后即可尝试简单的例子程序检验成果如何。下面展示了一个典型的 word count 应用案例调用方式[^4]: ```bash $hadoop jar $HADOOP_PREFIX/share/hadoop/mapreduce/hadoop-mapreduce-examples-[version].jar wordcount /input/path /output/path ``` 其中 `[version]` 替换为你实际使用的 hadoop 发布号字符串值。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值