Hadoop生态 -- HDFS 命令大全详解-优快云博客

HDFS 命令大全详解

一、命令使用基础

通用格式

hdfs dfs [通用选项] <命令> [命令选项]

环境配置

# 设置Hadoop环境变量（推荐添加到~/.bashrc）
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

帮助系统

hdfs dfs -help            # 查看所有命令
hdfs dfs -help ls         # 查看特定命令帮助

二、文件系统操作命令

1. 目录操作

命令	说明	示例
`-mkdir`	创建目录	`hdfs dfs -mkdir /user/data`
`-mkdir -p`	递归创建目录	`hdfs dfs -mkdir -p /user/data/2023/raw`
`-ls`	列出目录	`hdfs dfs -ls /user`
`-ls -R`	递归列出目录	`hdfs dfs -ls -R /`
`-du`	显示目录大小	`hdfs dfs -du -h /user`
`-df`	显示文件系统空间	`hdfs dfs -df -h /`

2. 文件操作

命令	说明	示例
`-put`	上传文件	`hdfs dfs -put local.txt /data/`
`-copyFromLocal`	同put	`hdfs dfs -copyFromLocal file.txt /data/`
`-get`	下载文件	`hdfs dfs -get /data/file.txt ./`
`-copyToLocal`	同get	`hdfs dfs -copyToLocal /data/file.txt ./`
`-cat`	查看文件内容	`hdfs dfs -cat /data/log.txt`
`-tail`	查看文件尾部	`hdfs dfs -tail -f /logs/app.log`
`-mv`	移动/重命名	`hdfs dfs -mv /old /new`
`-cp`	复制文件	`hdfs dfs -cp /src /dest`
`-rm`	删除文件	`hdfs dfs -rm /data/temp.txt`
`-rm -r`	递归删除	`hdfs dfs -rm -r /tmp/`
`-touchz`	创建空文件	`hdfs dfs -touchz /data/empty`

3. 文件权限管理

命令	说明	示例
`-chmod`	修改权限	`hdfs dfs -chmod 755 /data`
`-chown`	修改所有者	`hdfs dfs -chown user:group /data`
`-chgrp`	修改组	`hdfs dfs -chgrp hadoop /data`
`-setrep`	设置副本数	`hdfs dfs -setrep -w 5 /data/important`

三、高级文件操作

1. 归档操作 (HAR)

# 创建归档
hadoop archive -archiveName data.har -p /input /output

# 查看归档
hdfs dfs -ls har:///output/data.har

# 解压归档
hdfs dfs -cp har:///output/data.har/* /dest/

2. 快照管理

# 启用目录快照
hdfs dfsadmin -allowSnapshot /user/data

# 创建快照
hdfs dfs -createSnapshot /user/data snapshot_v1

# 恢复快照
hdfs dfs -cp /user/data/.snapshot/snapshot_v1/file.txt /restore/

3. 空间配额管理

# 设置目录配额（限制文件数）
hdfs dfsadmin -setQuota 10000 /user/data

# 设置空间配额（限制字节数）
hdfs dfsadmin -setSpaceQuota 1t /user/data

# 查看配额
hdfs dfs -count -q /user/data

四、系统管理命令

1. 集群管理

命令	说明	示例
`dfsadmin -report`	集群报告	`hdfs dfsadmin -report`
`dfsadmin -safemode`	安全模式管理	`hdfs dfsadmin -safemode enter`
`fsck`	文件系统检查	`hdfs fsck / -files -blocks`
`balancer`	集群平衡	`hdfs balancer -threshold 10`

2. 数据节点管理

# 停用数据节点
hdfs dfsadmin -refreshNodes

# 查看节点状态
hdfs dfsadmin -printTopology

3. 文件块操作

# 查看文件块位置
hdfs fsck /data/largefile -files -blocks -locations

# 手动恢复损坏块
hdfs debug recoverLease -path /data/corrupted -retries 5

五、实用技巧与最佳实践

1. 高效文件传输

# 并行复制（DistCp）
hadoop distcp hdfs://nn1:8020/source hdfs://nn2:8020/dest

# 压缩传输
hdfs dfs -put - /data/compressed.gz  # 从stdin输入
gzip -c local.txt | hdfs dfs -put - /data/compressed.gz

2. 文件比较与校验

# 比较本地与HDFS文件
hdfs dfs -cat /data/file | diff - local_file.txt

# 生成校验和
hdfs dfs -checksum /data/important.bin

3. 管道操作

# 实时处理日志
hdfs dfs -tail -f /logs/access.log | grep "ERROR" > errors.txt

# 并行处理
hdfs dfs -ls /data | awk '{print $8}' | xargs -P 4 -I {} hdfs dfs -cat {} | processor

六、命令输出解析技巧

1. 解析ls输出

# 提取完整路径
hdfs dfs -ls -R /data | awk '{print $8}'

# 统计文件类型分布
hdfs dfs -ls -R / | grep -v "^d" | awk '{print substr($1,1,1)}' | sort | uniq -c

2. 分析空间使用

# 查看目录大小排名
hdfs dfs -du -h / | sort -h -k1 -r | head -10

# 统计文件大小分布
hdfs dfs -ls -R / | awk '$5!="" {print $5}' | \
  awk '{ if($1<1024) print "<1KB"; 
         else if($1<1048576) print "<1MB"; 
         else if($1<1073741824) print "<1GB"; 
         else print ">1GB" }' | sort | uniq -c

七、安全相关命令

1. Kerberos认证

# 获取Kerberos票据
kinit username@REALM

# 查看当前凭证
klist

# 销毁凭证
kdestroy

2. 权限检查

# 检查路径权限
hdfs dfs -test -e /path && echo "存在" || echo "不存在"
hdfs dfs -test -d /path && echo "目录" || echo "文件"

八、故障排查命令

1. 查看日志

# 获取NameNode日志
hdfs dfs -cat /var/log/hadoop-hdfs/hdfs-namenode-*.log | grep ERROR

# 查看特定块的DataNode
hdfs fsck /file -files -blocks -locations | grep -A 3 "Block:"

2. 安全模式检查

# 检查安全模式状态
hdfs dfsadmin -safemode get

# 强制退出安全模式（谨慎使用）
hdfs dfsadmin -safemode forceExit

九、命令别名技巧

# 添加常用别名到~/.bashrc
alias hls="hdfs dfs -ls"
alias hcat="hdfs dfs -cat"
alias hput="hdfs dfs -put"
alias hget="hdfs dfs -get"
alias hdu="hdfs dfs -du -h"
alias hcount="hdfs dfs -count"

十、命令速查表

类别	高频命令
基础操作	`-ls`, `-mkdir`, `-put`, `-get`, `-cat`
权限管理	`-chmod`, `-chown`, `-setrep`
系统管理	`dfsadmin -report`, `fsck`, `balancer`
高级功能	`archive`, `createSnapshot`, `distcp`
故障排查	`-test`, `-tail`, `-checksum`