BigData进阶--hdfs常用命令

本文介绍了一系列常用的Linux命令,如文件移动、删除、打包等,并详细讲解了Hadoop的相关操作,包括文件合并、路径复制及删除等,适合初学者快速掌握基本技能。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.将/a目录移动到/b下,并重命名为c

mv /a /b/c

其实在文本模式中要重命名文件或目录,只需要使用mv命令就可以了,比如说要将一个名为abc的文件重命名为1234:

mv abc 1234

2.删除某文件

rm -f路径文件

3.rz上传

  sz下载

4.打包

单个文件压缩打包 tar czvfmy.tar.gz file1

多个文件压缩打包 tar czvfmy.tar.gz file1 file2,...(file*)(也可以给file*文件mv 目录在压缩)

单个目录压缩打包 tar czvfmy.tar.gz dir1

多个目录压缩打包 tar czvfmy.tar.gz dir1 dir2

解包至当前目录:tar xzvfmy.tar.gz

5.Hadoop上的文件合并到本地

hadoop -getmerge /temp temp-local

6.Windows系统中cmd合并多个文本文件

type *.txt >>路径+文件名

7.合并Hadoop中的文件,并下载到本地

hadoop fs -getmerge hdfs路径* 本地文件名

8.hdfs中创建新文件夹

hadoopfs -mkdir

9.hdfs上复制某路径到另外一个路径

hadoop fs -cp 路径1 目标路径

10.hdfs上删除某路径

hadoop fs -rmr路径名

11.查询某pid对应的状态

ps -T -p<pid>

12.后台启动某命令

 nohup命令 &

13.查看某进程的状态

top -H -p <pid>


Hadoop HDFS常用Shell命令及实验步骤 一、环境准备 1. 确保Hadoop集群已启动(NameNode、DataNode) 2. 本地创建测试文件: Bash   echo "Hello Hadoop" > test.txt  二、文件上传 1. 命令格式 Bash   hadoop fs -copyFromLocal <本地路径> <HDFS路径> # 或使用 -put 2. 示例 将test.txt上传到HDFS根目录: Bash   hadoop fs -copyFromLocal ./test.txt /test.txt 3. 验证 Bash   hadoop fs -ls / # 查看根目录文件列表[^3]  三、文件下载 1. 命令格式 Bash   hadoop fs -copyToLocal <HDFS路径> <本地路径> # 或使用 -get 2. 示例 下载HDFS的/test.txt到本地: Bash   hadoop fs -copyToLocal /test.txt ./downloaded.txt 3. 验证 Bash   cat downloaded.txt # 输出应为"Hello Hadoop"[^1]  四、内容追加 1. 命令格式 Bash   hadoop fs -appendToFile <本地文件> <HDFS文件> 2. 示例 追加本地append.txt到HDFS的/test.txt: Bash   echo "New Content" > append.txt hadoop fs -appendToFile append.txt /test.txt 3. 验证 Bash   hadoop fs -cat /test.txt # 应包含追加内容  五、文件删除 1. 命令格式 Bash   hadoop fs -rm <HDFS路径> # 删除文件 hadoop fs - rm -r <HDFS目录路径> # 递归删除目录 2. 示例 删除HDFS的/test.txt: Bash   hadoop fs -rm /test.txt 3. 验证 Bash   hadoop fs -ls / # 文件应不存在  六、权限查看与修改 1. 查看权限 Bash   hadoop fs -ls -d / # 显示根目录权限[^3] 输出示例: drwxr-xr-x - user supergroup 0 2023-10-01 12:00 / 2. 修改权限 Bash   hadoop fs -chmod 755 /test.txt # 设置读写执行权限  七、其他操作 1. 复制文件 Bash   hadoop fs -cp /test.txt /backup/test.txt # 跨路径复制[^2] 2. 创建目录 Bash   hadoop fs -mkdir /bigdata # 创建新目录[^3] 5. 给定HDFS中某一个目录,输出该目录下的所有文件的读写权限、大小、创建时间、路径等信息,如果该文件是目录,则递归输出该目录下所有文件相关信息; 6. 提供一个HDFS内的文件的路径,对该文件进行创建和删除操作。如果文件所在目录不存在,则自动创建目录; 7. 提供一个HDFS的目录的路径,对该目录进行创建和删除操作。创建目录时,如果目录文件所在目录不存在则自动创建相应目录;删除目录时,由用户指定当该目录不为空时是否还删除该目录;3. 将HDFS中指定文件的内容输出到终端中;在上面的基础上重点完成一下下面的内容 8. 向HDFS中指定的文件追加内容,由用户指定内容追加到原有文件的开头或结尾; 9. 删除HDFS中指定的文件; 10. 在HDFS中,将文件从源路径移动到目的路径。
最新发布
03-20
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值