0030-hdfs shell操作

最新推荐文章于 2025-02-12 15:20:35 发布

原创最新推荐文章于 2025-02-12 15:20:35 发布 · 2.4k 阅读

0 ·

CC 4.0 BY-SA版权

Hadoop 专栏收录该内容

12 篇文章

订阅专栏

本文深入解析了HDFS的分布式存储机制，包括文件切块、副本管理及namenode与datanode的角色。同时，提供了详尽的HDFS Shell命令列表，帮助读者掌握文件操作、权限设置及系统监控等实用技能。

文章目录

- - 1. 实现原理
  - 2. shell操作

1. 实现原理

hdfs是通过分布式集群来存储文件；
文件存储到hdfs集群中去的时候被切分成block，默认是128M；
文件的block被放在不同的datanode节点上；
hdfs文件系统中的文件与与真实的block之间有映射关系，由namenode管理；
每个block在集群中存在多个副本(默认3个)，可以提高数据的可靠性，也可以提高访问的吞吐量；

2. shell操作

头：hdfs fs + 类似linux的操作
例如列出目录列表
hdfs fs -ls /路径

[-appendToFile <localsrc> ... <dst>]
[-cat [-ignoreCrc] <src> ...]
[-checksum <src> ...]
[-chgrp [-R] GROUP PATH...]
[-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
[-chown [-R] [OWNER][:[GROUP]] PATH...]
[-copyFromLocal [-f] [-p] [-l] [-d] <localsrc> ... <dst>]
[-copyToLocal [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
[-count [-q] [-h] [-v] [-t [<storage type>]] [-u] [-x] <path> ...]
[-cp [-f] [-p | -p[topax]] [-d] <src> ... <dst>]
[-createSnapshot <snapshotDir> [<snapshotName>]]
[-deleteSnapshot <snapshotDir> <snapshotName>]
# 查看磁盘空间
[-df [-h] [<path> ...]]
# 查看文件及文件夹大小
[-du [-s] [-h] [-x] <path> ...]
[-expunge]
[-find <path> ... <expression> ...]
[-get [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
[-getfacl [-R] <path>]
[-getfattr [-R] {-n name | -d} [-e en] <path>]
[-getmerge [-nl] [-skip-empty-file] <src> <localdst>]
[-help [cmd ...]]
[-ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [<path> ...]]
[-mkdir [-p] <path> ...]
[-moveFromLocal <localsrc> ... <dst>]
[-moveToLocal <src> <localdst>]
[-mv <src> ... <dst>]
[-put [-f] [-p] [-l] [-d] <localsrc> ... <dst>]
[-renameSnapshot <snapshotDir> <oldName> <newName>]
[-rm [-f] [-r|-R] [-skipTrash] [-safely] <src> ...]
[-rmdir [--ignore-fail-on-non-empty] <dir> ...]
[-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
[-setfattr {-n name [-v value] | -x name} <path>]
[-setrep [-R] [-w] <rep> <path> ...]
[-stat [format] <path> ...]
[-tail [-f] <file>]
[-test -[defsz] <path>]
[-text [-ignoreCrc] <src> ...]
[-touchz <path> ...]
[-truncate [-w] <length> <path> ...]
[-usage [cmd ...]]