Hadoop端口介绍及各种启动命令列表

最新推荐文章于 2024-12-14 12:59:57 发布
最新推荐文章于 2024-12-14 12:59:57 发布
阅读量1.3k 收藏 4
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 随堂笔记 Hadoop Linux命令的总结 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_43412289/article/details/89239439
本文介绍了Hadoop的主要端口，如9000的namenode常用端口，8020的RPC调用端口，以及HDFS和YARN的相关端口。此外，列举了Hadoop的启动命令，包括start-all.sh、start-dfs.sh、start-yarn.sh等，以及各个组件的单独启动方法。最后提到了Hadoop的基准测试，通过TestDFSIO进行读写性能评估。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Hadoop端口介绍

9000 namenode的常用端口 给机子
8020 namenode的RPC调用端口（接收Client连接的RPC端口，用于获取文件系统metadata信息）
50070 namenode http HDFS查看端口 web
50470 https 查看HDFS端口
50090 secondaryNamenode
8088 ResourceManager YARN集群端口
8089 Web Application Proxy web代理
10020 JobHistory(host)
19888 JobHistory (web)
8030-8033 resourcemanage组件

Hadoop各种启动命令列表

Start-all.sh/Stop-all.sh   开启关闭所有进程

Start-dfs.sh    开启hdfs 进程

Start-yarn.sh   开启yarn进程

Hadoop namenode –format   对HDFS进行格式化

hadoop-daemon.sh start namenode   

最低0.47元/天 解锁文章

200万优质内容无限畅学
纯手动搭建大数据集群架构_记录021_麒麟系统v10版_x86/64架构安装hadoop集群_修改SSH端口号_调整脚本端口---大数据之Hadoop3.x工作笔记0181
添柴程序猿的专栏
05-31 493
如果是arm架构的系统,就需要安装arm架构的java,jdk,对应的hadoop应该也需要arm架构的,这个。hadoop集群,那么这时候,还是有些地方需要修改的,大部分,跟之前使用centos,去安装。hadoop集群没有区别,直接参考以前的博文就可以了,并且,有区别的地方,已经在。但是这一次,安装的时候,ssh端口不是默认的22,给改成了22022了,这个时候。首先,如果想要修改ssh的端口,可以看到按照上面这样修改就可以了,然后。还没有尝试,尝试以后,给大家说.对应的博文中,记录了.
二刷大数据（一）- Hadoop
qq_58551342的博客
04-12 1169
大数据的4V特征是描述大数据特性的四个关键维度，这四个特征分别为：Volume（大量性）：Velocity（高速性）：Variety（多样性）：Value（价值性）：优势：Hadoop分布式文件系统（HDFS）是一种专为大型分布式计算和海量数据存储而设计的文件系统，它采用主/从（Master/Slave）架构来管理和存储数据。下面是HDFS工作原理的简单描述：NameNode（主节点）：DataNode（从节点）：数据存储与冗余：数据读取：心跳检测与块报告：故障检测与恢复：综上所述，HDFS通过集中式的元数
Hadoop（HDFS、YARN、HBase、Hive和Spark等）默认端口表
10-29
端口 作用 9000 fs.defaultFS，如：hdfs://172.25.40.171:9000 9001 dfs.namenode.rpc-address，DataNode会连接这个端口 50070 dfs.namenode.http-address 50470 dfs.namenode.https-address 50100 dfs.namenode.backup.address 50105 dfs.namenode.backup.http-address 50090 dfs.namenode.secondary.http-address，如：172.25.39.166:50090 50091 dfs.namenode.secondary.https-address，如：172.25.39.166:50091 50020 dfs.datanode.ipc.address 50075 dfs.datanode.http.address 50475 dfs.datanode.https.address 50010 dfs.datanode.address，DataNode的数据传输端口 8480 dfs.journalnode.rpc-address 8481 dfs.journalnode.https-address 8032 yarn.resourcemanager.address
hadoop端口说明：
weixin_38292616的博客
06-22 442
hadoop端口说明：port8088: cluster and all applications port 50070: Hadoop NameNodeport 50090: Secondary NameNode port 50075: DataNode
hadoop开发中常用的端口号有那些？
热门推荐
诗水人间
09-14 10万+
50070 查看hdfs文件系统的 8088 查看MapReduce
Hadoop默认端口清单-防火墙申请使用
11-27
Hadoop默认端口清单，自己收集来用，需要开通防火墙的时候使用。
Linux下开启Hadoop的9000端口方法
爬虫 的博客
07-29 1万+
安装Hadoop后, 启动Hadoop时需要开启很多端口, 最简单的办法是关闭Linux防火墙. 具体方法如下: 当Linux打开防火墙后，你会发现，从本机登录9000端口是没有问题的，但是如果从另一台pc登录该linux系统后，你会发现提示这样的错误：  不能打开到主机的连接， 在端口 9000: 连接失败  因为linux防火墙默认是关闭9000端口的，如果允许远程登录，可以关掉
大数据常用端口及服务启动命令
奇迹虎虎的博客
02-19 2257
大数据常用端口&服务启动命令，启动hadoop、yarn、zookeeper、hbase、hive、saprk、hase、kafka等等...
Linux修改hadoop配置文件及启动hadoop集群详细步骤
m0_74830349的博客
09-22 5815
pwd。
docker部署hadoop介绍
03-07
在介绍如何利用Docker部署Hadoop之前，我们首先要了解Hadoop和Docker这两个技术。Hadoop是一个由Apache基金会开发的分布式系统基础架构，主要用于存储和处理大数据。其设计能够支持在廉价硬件上运行的分布式应用，...
Hadoop 常用端口号
代妈炼金术师
01-10 3512
请注意，这些是Hadoop组件的标准默认端口，实际部署过程中可以根据需要在配置文件中修改。同时，不同版本的Hadoop可能对某些端口有所调整，请以具体部署环境的实际配置为准。
hdfs启动和ui
大JAVA解决方案
02-11 443
-rw-rw-r--. 1 wangshumin wangshumin  247 2月   9 01:04 单进程停止[wangshumin@centoshostnameKL1 sbin]$ start-dfs.shStarting namenodes on [centoshostnameKL1]centoshostnameKL1: starting namenode, logging to /h...
大数据系列 | 解决Hadoop不能打开端口8088的网页问题(50070可以打开)
woshinsy的博客
03-29 1万+
解决Hadoop不能打开端口8088的网页问题(50070可以打开) 原因： 本地hosts文件没有添加集群ip 集群环境没有开放8088端口 hadoop的配置文件yarn-site.xml问题 解决方法： 首先检查一下使用集群ip:8088是否可以访问 可以访问即是本地hosts配置问题 以管理员身份打开WindowsPowershell C:> CD C:\Windows\System32\drivers\etc C:\Windows\System32\drivers\etc>
Hadoop 3 端口号的改变及启动Hadoop
oTangBoTu的博客
04-12 2516
Hadoop 3 端口号的改变 分类 应用 Haddop 2.x port Haddop 3 port NNPorts Namenode 8020 9820 NNPorts NN HTTP UI 50070 ...
Hadoop学习
qq_46143063的博客
12-14 1492
bin/bash#1. 判断参数个数thenexit;fi#2. 遍历集群所有机器do#3. 遍历所有目录，挨个发送do#4. 判断文件是否存在then#5. 获取父目录pwd)#6. 获取当前文件的名称elsefidonedone停historyserver单节点1**）各个模块分开启动****/停止（配置ssh是前提）常用**（1）整体启动/停止HDFS（2）整体启动/停止YARN2**）各个服务组件逐一启动****/**停止。
Hadoop 开放端口方法
夏沐的博客
07-13 1526
编辑/etc/sysconfig/iptables文件 （1）编辑/etc/sysconfig/iptables文件： vi /etc/sysconfig/iptables 加入内容并保存： -A INPUT -m state --state NEW -m tcp -p tcp --dport 9000 -j ACCEPT 其中：9000为端口 （2）...
Linux开启hadoop没有开启9000端口
博客标题不能为空
06-23 1万+
hadoop 3.03 start-dfs.sh开启hdfs后，无法进行任何dfs文件操作,不是虚拟机被玩坏了，另一个虚拟机一次配好，同样报错。是虚拟机报错： 防火墙已关闭：core-site.xml 设置：hdfs-site.xml 设置：/etc/hosts 设置：telnet 被拒绝，开启后netstat -aq 根本找不到9000这个端口，50070也没有，感觉配置里的端口都未开启：其它的...
hadoop2.x常用端口及定义方法
Dustin_CDS的博客
02-09 6357
端口 Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper: 组件 节点 默认端口 配置 用途说明 H
hadoop 启动命令
最新发布
05-23
以下是具体的启动命令及相关说明。 #### HDFS 启动与停止 用于启动和停止 HDFS 服务的脚本位于 `sbin` 目录下： - **启动 HDFS** ```bash cd /opt/soft/hadoop/hadoop-3.0.0/sbin ./start-dfs.sh ``` 此命令...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值