HDFS递归建立删除查看文件命令

原创已于 2022-03-16 19:11:03 修改 · 788 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hdfs #hadoop #大数据

于 2022-03-16 10:39:09 首次发布

这篇博客记录了使用Hadoop文件系统的命令行操作，包括如何递归删除目录或文件（hadoopfs -rm -r -skipTrash），递归创建文件（hadoopfs -mkdir -p），以及文件查看的相关命令，如统计行数、字节数等。这些基本操作对于日常的数据处理和管理至关重要。

博主现在用习惯了网页版的删除创建，导致忘了代码，今天记录一下，希望帮到你们

递归删除目录或者文件

hadoop fs -rm -r -skipTrash /文件

递归创建文件

hadoop fs -mkdir -p /文件

查看文件

hdfs dfs -cat /app1/data/exam02/meituan_waimai_meishi.csv | wc -l 查看总行数
-c 统计字节数。
-l 统计行数。
-m 统计字符数。
-w 统计字数。一个字被定义为由空白、跳格或换行字符分隔的字符串。
-L 打印最长行的长度
hdfs dfs -cat /datas/access_log | tail -30 查看尾部行数
hdfs dfs -cat /datas/access_log | head -30 查看首部行数