03、Hadoop框架HDFS Shell 命令

本文详细介绍了如何启动Hadoop集群、HDFSShell的常用操作,包括上传下载文件、修改权限、WordCount实例以及磁盘管理。还展示了如何使用hdfs命令进行文件操作和权限调整,以及删除文件的技巧。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

HDFS Shell命令

详细启动脚本介绍

  • 第一种:全部启动集群所有进程
启动:sbin/start-all.sh
停止: sbin/stop-all.sh

*启动

  • 停止
  • 第二种:单独启动hdfs【web端口50070】和yarn【web端口8088】的相关进程
启动:sbin/start-dfs.sh	sbin/start-yarn.sh
停止:sbin/stop-dfs.sh	sbin/stop-yarn.sh
每次重写启动集群的时候使用
  • 第三种:单独启动某一个进程
启动hdfs:sbin/hadoop-daemon.sh start (namenode | datanode)
停止hdfs:sbin/hadoop-daemon.sh stop (namenode | datanode)
启动yarn:sbin/yarn-daemon.sh start (resourcemanager | nodemanager)
停止yarn:sbin/yarn-daemon.sh stop(resourcemanager | nodemanager)
用于当某个进程启动失败或者异常down掉的时候,重启进程
  • HDFS web端口50070
  • yarn web端口8088

HDFS Shell 介绍

调用文件系统(FS) Shell命令应使用 bin/hdfs dfs -XXX 的形式

所有的FS Shell 命令使用URI路径作为参数

URI格式是scheme://authority/path

HDFS的scheme是hdfs,对本地文件系统,scheme是file

其中scheme和authority参数都是可选的,如果未加指定,就会使用配置中指定的默认scheme。

例如:/parent/child可以表示成
hdfs://namenode:namenodePort/parent/child,或者更简单的/parent/child(假设配置文件是namenode:namenodePort)

大多数FS Shell命令的行为和对应的Linux Shell命令类似

HDFS Shell 常用操作

  调用文件系统(FS)S

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

liangzai2048

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值