HDFS文件查改增删及上传下载

原创

已于 2023-12-07 17:10:21 修改 · 1.9k 阅读

18 ·

CC 4.0 BY-SA版权

文章标签：

#hdfs #hadoop

于 2020-12-18 16:27:08 首次发布

该博客主要介绍了HDFS文件的操作，包括查改增删，如查看、创建、删除及批量删除文件，还介绍了一种批量删除HDFS文件并跳过垃圾箱的方法；同时涵盖文件移动，如拷贝、本地文件上传、下载到本地以及集群之间的拷贝等操作。

1. 文件查改增删

1.1 查看文件

# 查看某目录下的文件
hadoop fs -ls <path>

# 显示文件大小
hadoop fs -du -h <path>
# 显示文件大小，s代表显示只显示总计(列出最后的和)。
hadoop fs -du -s -h <path>

# 输出文件内容
hadoop fs -cat <path>

1.2 创建文件

# 创建目录
hadoop fs -mkdir <path>
hadoop fs -mkdir -p ${1}

# 在指定目录创建一个新文件，如果文件存在，则创建失败
hadoop fs -touchz /user/zz/_SUCCESS

1.3 删除文件

hadoop fs -rm <src>

# 递归删除文件目录及文件
hadoop fs -rmr <src>
hadoop fs -rm -R -f -skipTrash ${1}

1.4 批量删除文件

介绍一种批量删除hdfs文件(并跳过垃圾箱)的方法

# 1.查看hdfs 文件
hadoop fs -ls hdfs_path  

# 2.将hdfs上待删除的文件路径写入一个文本文件（table_hdfs_clean_list.txt）

# 3.编写删除脚本 clean.sh  (防止垃圾箱被塞满)
for i in `cat table_hdfs_clean_list.txt`
# for i in $(cat table_hdfs_clean_list.txt)
do
    hadoop