hdfs常用命令

Hadoop与HDFS操作指南

原创已于 2022-08-29 15:24:31 修改 · 1.8k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#hdfs #hadoop #big data

于 2021-11-15 10:58:12 首次发布

计算机基础知识专栏收录该内容

90 篇文章

订阅专栏

本文档详细介绍了Hadoop HDFS的各种操作命令，包括文件的合并、上传、下载、移动、复制、删除，以及查看文件信息、空间使用情况、文件计数等，还涵盖了文件的副本管理和回收站清理等高级功能。

合并数据，保存到本地
hadoop fs -cat  文件路径/* >本地路径

查看帮助
hdfs dfs -help 
    
查看当前目录信息
hdfs dfs -ls /
        
上传文件
hdfs dfs -put /本地路径 /hdfs路径

上传文件（如果已有该文件，覆盖）
hdfs dfs -put -f /本地路径 /hdfs路径
        
剪切文件
hdfs dfs -moveFromLocal a.txt /aa.txt
        
下载文件到本地
hdfs dfs -get /hdfs路径 /本地路径
        
合并下载
hdfs dfs -getmerge /hdfs路径文件夹 /合并后的文件
        
创建文件夹
hdfs dfs -mkdir /hello
        
创建多级文件夹
hdfs dfs -mkdir -p /hello/world
        
移动hdfs文件
hdfs dfs -mv /hdfs路径 /hdfs路径
        
复制hdfs文件
hdfs dfs -cp /hdfs路径 /hdfs路径
        
删除hdfs文件
hdfs dfs -rm /aa.txt
        
删除hdfs文件夹
hdfs dfs -rm -r /hello

直接删除目录（不放入回收站，如果是文件夹，加-r）
hdfs dfs -rm -skipTrash 目录
        
查看hdfs中的文件
hdfs dfs -cat /文件
hdfs dfs -tail -f /文件
        
查看文件夹中有多少个文件
hdfs dfs -count /文件夹
        
查看hdfs的总空间
hdfs dfs -df /
hdfs dfs -df -h /
        
修改副本数    
hdfs dfs -setrep 1 /a.txt

清空回收站
hdfs dfs -expunge

查看文本行数
hadoop fs -cat hdfs://172.168.0.11:8020/test/says_dict/sysdict_type.data |wc -l
 
查看文件大小(单位byte)
hadoop fs -du hdfs://172.168.0.11:8020/test/says_dict/*
 
hadoop fs -count hdfs://172.168.0.11:8020/test/says_dict/*
 
随机返回指定行数的样本数据
hadoop fs -cat /test/gonganbu/scence_suggestions/* | shuf -n 5
 
返回前几行的样本数据
hadoop fs -cat /test/gonganbu/scence_suggestions/* | head -100
 
返回最后几行的样本数据
hadoop fs -cat /test/gonganbu/scence_suggestions/* | tail -5