hadoop 命令

本文介绍了Hadoop HDFS中用于用户交互的DFSShell和集群管理的DFSAdmin命令。DFSShell提供了一系列类似于传统shell的命令,如创建目录、查看文件结构、上传下载文件等。DFSAdmin则包含了一些管理员级别的操作,如进入安全模式、显示Datanode列表和退役Datanode。这些工具对于HDFS的日常管理和维护至关重要。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

DFSShell

HDFS以文件和目录的形式组织用户数据。它提供了一个命令行的接口(DFSShell)让用户与HDFS中的数据进行交互。命令的语法和用户熟悉的其他shell(例如 bash, csh)工具类似。下面是一些动作/命令的示例:

动作命令
创建一个名为 /foodir 的目录bin/hadoop dfs -mkdir /foodir
查看文件结构目录

hdfs dfs -ls -R    /   

hadoop fs -ls    /mydir

删除文件hadoop fs -rm -r -skipTrash    /test_dir/f1.txt
删除文件夹hadoop fs -rm -r -skipTrash   /test_dir
上传整个目录文件夹hadoop dfs -put /hadoop/myfile   /
重命名文件夹hdfs dfs -mv /myfile /mydir
上传单个文件hadoop fs -put /hadoop/myfile/f1.txt   /test_dir
把HDFS中整个文件夹目录下的文件合并并下载到本地hdfs dfs -getmerge   /mydir    /hadoop/temp
从HDFS中把文件下载到本地hadoop dfs -get   /mydir/f1.txt    /hadoop/f1.txt
查看名为 /foodir/myfile.txt 的文件内容

bin/hadoop dfs -cat /foodir/myfile.txt

DFSShell 可以用在那些通过脚本语言和文件系统进行交互的应用程序上。

DFSAdmin

DFSAdmin 命令用来管理HDFS集群。这些命令只有HDSF的管理员才能使用。下面是一些动作/命令的示例:

动作命令
将集群置于安全模式

bin/hadoop   dfsadmin -safemode enter

bin/hdfs   dfasmin   -safemode

显示Datanode列表bin/hadoop dfsadmin -report
使Datanode节点 datanodename退役bin/hadoop dfsadmin -decommission datanodename
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值