HDFS的shell操作

本文详细介绍了Hadoop文件系统(HDFS)中的基本命令,包括上传、下载、查看及管理文件和目录的操作,如`-put`、`-copyToLocal`、`-ls`、`-rm`等。此外,还提到了文件权限修改命令如`-chgrp`、`-chmod`、`-chown`,以及`-tail`命令用于查看文件末尾数据的重要性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.基本语法

hadoop fs 具体命令
或者
hdfs dfs 具体命令
两者的作用一样,只是书写方式不同,更偏向于使用第一种书写方式。
  1. 具体命令
    在这里插入图片描述
    3.常用命令
1.-help:输出这个命令的参数
	例: hadoop fs -help mkdir
2.上传命令
	1)-moveFromLocal:从本地剪贴粘贴到HDFS
		例:假如当前目录下有 tmp1.txt,HDFS上有tmp目录
		hadoop fs -moveFromLocal tmp1.txt /tmp
	2)-copyFromLocal:从本地复制到HDFS
		例:假如当前目录下有 tmp1.txt,HDFS上有tmp目录
		hadoop fs -copyFromLocal tmp1.txt /tmp
	3)-put:作用和copyFromLocal一样
		例:假如当前目录下有 tmp1.txt,HDFS上有tmp目录
		hadoop fs -put tmp1.txt /tmp
	4)-appendToFile:在文件末尾追加一个文件
		例:假如当前目录下有 tmp2.txt,HDFS上有tmp目录,且tmp目录下含有tmp1.txt
		hadoop fs -appendToFile tmp2.txt /tmp/tmp1.txt
	注:moveFromLocal和copyFromLocal不同在于,moveFromLocal以后本地文件不会存在,copyFromLocal以后本地文件依旧存在。
3.下载命令
	1)-copyToLocal:将HDFS的文件拷贝到本地
		假如HDFS上有tmp目录,且tmp目录下含有tmp1.txt
		例: hadoop fs -copyToLocal /tmp/tmp1.txt ./
	2)-get:和copyToLocal命令一样(get命令经常使用)
		假如HDFS上有tmp目录,且tmp目录下含有tmp1.txt
		例: hadoop fs -get /tmp/tmp1.txt ./
4.常用命令
	1)-ls:显示目录信息
	2)-cat:显示文件内容
	3)-chgrp、-chmod、-chown:作用和linux的作用一样,都是修改文件权限
	4)-mkdir:创建一个新的文件夹
	5)-cp:从HDFS的一个路径拷贝到HDFS的另一个路径
	6)-mv:在HDFS目录中移动文件
	7)-tail:显示一个文件的末尾1kb的数据
		注:这个的命令主要是因为HDFS中的文件不能够修改,只能通过追加的方式去进行操作,也就是文件末尾的数据
		一般才是HDFS的最新的数据,就像是log文件一样。
	8)-rm:删除文件或文件夹
	9)-rm -r:递归删除目录以及目录里面的内容
		注:8和9命令在使用的使用尤其要注意,不要让删库跑路的情况发生在你的身上。
	10)-du:统计文件夹的大小信息。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

¤睿

皆是缘

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值