HDFS的基本命令、命令应用及HDFS的高级功能

最新推荐文章于 2022-11-16 20:41:46 发布

原创

最新推荐文章于 2022-11-16 20:41:46 发布 · 686 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#hdfs #回收站 #命令 #快照 #配额

本文详细介绍了HDFS的基本命令，包括如何操作文件和目录。深入探讨了HDFS的高级特性，如回收站功能，允许恢复误删除的文件；配额机制，用于限制用户或组的存储使用；快照功能，提供文件系统的快照以备恢复；以及安全模式，确保集群在启动时的稳定性。此外，还讨论了HDFS的权限管理系统，保障数据的安全访问。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、HDFS基本命令

1、hdfs dfs VS  hadoop fs 
    两者是等价的。
    验证：
        cat /opt/apps/hadoop-2.6.5/bin/hdfs 
            elif [ "$COMMAND" = "dfs" ] ; then
            CLASS=org.apache.hadoop.fs.FsShell

        cat /opt/apps/hadoop-2.6.5/bin/hadoop
            if [ "$COMMAND" = "fs" ] ; then
            CLASS=org.apache.hadoop.fs.FsShell

2、hdfs dfs -mkdir /tools
   hdfs dfs -mkdir -p /a/b 

3、hdfs dfs -ls / 
   hdfs dfs -ls hdfs://Linux005:9000/
   hdfs dfs -ls -R / 

   HA查看：
        Linux005:active
        Linux004：standby

        hdfs dfs -ls hdfs://Linux005:9000/  可读可写
        hdfs dfs -ls hdfs://Linux004:9000/  只读
        hdfs dfs -ls hdfs://nameservice/  可读可写

4、hdfs dfs -cat a.txt 查看文件内容
   hdfs dfs -text a.txt 查看文件内容
   hdfs dfs -tail a.txt 显示文件末尾1KB的数据信息

5、上传下载：
   hdfs dfs -put hadoop /tools
   hdfs dfs -get hadoop /tools
   hdfs dfs -getmerge /students ~/a.txt  
    将/studnets目录下所有文件排序合并下载到a.txt中，文件不存在时会自动创建，文件