HDFS（一、HDFS概述、客户端、shell操作）（更新中）

最新推荐文章于 2023-12-08 13:27:17 发布
最新推荐文章于 2023-12-08 13:27:17 发布
阅读量325 收藏 1
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wise_nut/article/details/106771974
版权
本文介绍了HDFS的基本概念，包括它的定义、优缺点、组成架构，重点解析了NameNode和DataNode的角色。此外，还详细阐述了HDFS文件块的大小，并列举了一系列常用的HDFS Shell操作，如ls、mkdir、put、get等。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

原文链接: HDFS（一、HDFS概述、客户端、shell操作）.

1. HDFS定义

HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，他是分布式的，由很多服务器联合起来实现其功能，集群的中的服务器都有各自的角色。

HDFS使用场景：适合一次写入，多次读出的场景（不支持数据修改），且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用（读写频繁的）

2. HDFS优缺点

1. 优点：
在这里插入图片描述
2. 缺点：
在这里插入图片描述

3. HDFS组成架构

在这里插入图片描述

  1. **NameNode(nn)：**就是master。它是一个主管，管理者。
    ：管理HDFS的命名空间；
    ：配置副本策略；
    ：管理数据块（Block）的映射信息；
    ：处理客户端读写请求。
  2. DataNode：就是Slave ，3.x叫worker。NameNode下达命令，DataNode 执行实际的操作。
    ：存储实际的数据块；
    ：执行数据块读写操作；
  3. Client：就是客户端。
    ：文件切分，文件上传 HDFS 的时候，Client 将文件切分成一个个的 Block ，然后上传；
    ：与    NameNode    交互，获取文件位置信息；
    ：与DataNode交互，读取/写入数据；
    ：Client提供一些命令来管理HDFS，比如NameNode格式化；
    ：Client可以通过一些命令来访问HDFS，比如对HDFS的增删改查操作。
  4. Secondary NameNode：并非NameNode的热备，当NameNode挂掉时候，并不能马上替换NameNode并提供服务。
    ：辅助NameNode，分担其工作量，比如定期合并Fsimage（镜像文件）和Edits（编辑日志），并推送给NameNode；
    ：在紧急情况下，可辅助恢复NameNode。

4. HDFS文件块大小

在这里插入图片描述
在这里插入图片描述
134217728/1024/1024 = 128M

如果磁盘为固态硬盘等传输速率更高的，则可以将block设置为更大的大小

**问：为什么**

5. HDFS的Shell操作

基本语法

[root@hadoop100 hadoop-3.2.1]# hdfs dfs
Usage: hadoop fs [generic options]
	[-appendToFile <localsrc> ... <dst>]
	[-cat [-ignoreCrc] <src> ...]
	[-checksum <src> ...]
	[-chgrp [-R] GROUP PATH...]
	[-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
	[-chown [-R] [OWNER][:[GROUP]] PATH...]
	[-copyFromLocal [-f] [-p] [-l] [-d] [-t <thread count>] <localsrc> ... <dst>]
	[-copyToLocal [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
	[-count [-q] [-h] [-v] [-t [<storage type>]] [-u] [-x] [-e] <path> ...]
	[-cp [-f] [-p | -p[topax]] [-d] <src> ... <dst>]
	[-createSnapshot <snapshotDir> [<snapshotName>]]
	[-deleteSnapshot <snapshotDir> <snapshotName>]
	[-df [-h] [<path> ...]]
	[-du [-s] [-h] [-v] [-x] <path> ...]
	[-expunge [-immediate]]
	[-find <path> ... <expression> ...]
	[-get [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
	[-getfacl [-R] <path>]
	[-getfattr [-R] {-n name | -d} [-e en] <path>]
	[-getmerge [-nl] [-skip-empty-file] <src> <localdst>]
	[-head <file>]
	[-help [cmd ...]]
	[-ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [-e] [<path> ...]]
	[-mkdir [-p] <path> ...]
	[-moveFromLocal <localsrc> ... <dst>]
	[-moveToLocal <src> <localdst>]
	[-mv <src> ... <dst>]
	[-put [-f] [-p] [-l] [-d] <localsrc> ... <dst>]
	[-renameSnapshot <snapshotDir> <oldName> <newName>]
	[-rm [-f] [-r|-R] [-skipTrash] [-safely] <src> ...]
	[-rmdir [--ignore-fail-on-non-empty] <dir> ...]
	[-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
	[-setfattr {-n name [-v value] | -x name} <path>]
	[-setrep [-R] [-w] <rep> <path> ...]
	[-stat [format] <path> ...]
	[-tail [-f] [-s <sleep interval>] <file>]
	[-test -[defswrz] <path>]
	[-text [-ignoreCrc] <src> ...]
	[-touch [-a] [-m] [-t TIMESTAMP ] [-c] <path> ...]
	[-touchz <path> ...]
	[-truncate [-w] <length> <path> ...]
	[-usage [cmd ...]]
  1. -help： 输出这个命令参数
[root@hadoop100 hadoop-3.2.1]# hdfs dfs -help rm
-rm [-f] [-r|-R] [-skipTrash] [-safely] <src> ... :
  Delete all files that match the specified file pattern. Equivalent to the Unix
  command "rm <src>"
                                                                                 
  -f          If the file does not exist, do not display a diagnostic message or 
              modify the exit status to reflect an error.                        
  -[rR]       Recursively deletes directories.                                   
  -skipTrash  option bypasses trash, if enabled, and immediately deletes <src>.  
  -safely     option requires safety confirmation, if enabled, requires          
              confirmation before deleting large directory with more than        
              <hadoop.shell.delete.limit.num.files> files. Delay is expected when
              walking over large directory recursively to count the number of    
              files to be deleted before the confirmation.
  1. -ls： 显示目录信息 ，-ls -R： 显示详细信息
[root@hadoop100 ~]# hdfs dfs -ls -R /
drwx------   - root supergroup          0 2020-06-14 21:34 /tmp
drwx------   - root supergroup          0 2020-06-14 21:34 /tmp/hadoop-yarn
drwx------   - root supergroup          0 2020-06-14 21:39 /tmp/hadoop-yarn/staging
drwxr-xr-x   - root supergroup          0 2020-06-14 21:39 /tmp/hadoop-yarn/staging/history
drwxrwxrwt   - root supergroup          0 2020-06-14 21:39 /tmp/hadoop-yarn/staging/history/done_intermediate
drwxrwx---   - root supergroup          0 2020-06-14 21:40 /tmp/hadoop-yarn/staging/history/done_intermediate/root
-rwxrwx---   3 root supergroup      22773 2020-06-14 21:40 /tmp/hadoop-yarn/staging/history/done_intermediate/root/job_1592141128432_0002-1592141973598-root-word+count-1592142001631-1-1-SUCCEEDED-default-1592141984973.jhist
-rwxrwx---   3 root supergroup        439 2020-06-14 21:40 /tmp/hadoop-yarn/staging/history/done_intermediate/root/job_1592141128432_0002.summary
-rwxrwx---   3 root supergroup     223001 2020-06-14 21:40 /tmp/hadoop-yarn/staging/history/done_intermediate/root/job_1592141128432_0002_conf.xml
drwx------   - root supergroup          0 2020-06-14 21:34 /tmp/hadoop-yarn/staging/root
drwx------   - root supergroup          0 2020-06-14 21:40 /tmp/hadoop-yarn/staging/root/.staging
drwxr-xr-x   - root supergroup          0 2020-06-14 21:39 /user
drwxr-xr-x   - root supergroup          0 2020-06-14 21:35 /user/input
-rw-r--r--   3 root supergroup         70 2020-06-14 21:35 /user/input/wc.input
drwxr-xr-x   - root supergroup          0 2020-06-14 21:40 /user/output
-rw-r--r--   3 root supergroup          0 2020-06-14 21:40 /user/output/_SUCCESS
-rw-r--r--   3 root supergroup         72 2020-06-14 21:40 /user/output/part-r-00000
[root@hadoop100 ~]# hdfs dfs -ls /
Found 2 items
drwx------   - root supergroup          0 2020-06-14 21:34 /tmp
drwxr-xr-x   - root supergroup          0 2020-06-14 21:39 /user
  1. -mkdir： 在HDFS上创建目录
[root@hadoop100 ~]# hdfs dfs -mkdir /clearlove
[root@hadoop100 ~]# hdfs dfs -ls /
Found 3 items
drwxr-xr-x   - root supergroup          0 2020-06-19 00:34 /clearlove
drwx------   - root supergroup          0 2020-06-14 21:34 /tmp
drwxr-xr-x   - root supergroup          0 2020-06-14 21:39 /user
  1. -moveFromLocal： 从本地剪切粘贴到HDFS
[root@hadoop100 hadoop-3.2.1]# cd input/
[root@hadoop100 input]# touch 4396.txt
[root@hadoop100 input]# vi 4396.txt 
[root@hadoop100 input]# hdfs dfs -moveFromLocal ./4396.txt /clearlove
2020-06-19 00:39:08,549 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false

在这里插入图片描述
5. -appendToFile： 追加一个文件到已经存在的文件末尾

[root@hadoop100 input]# touch 777.txt
[root@hadoop100 input]# vi 777.txt 
[root@hadoop100 input]# hdfs dfs -appendToFile 777.txt /clearlove/4396.txt
2020-06-19 00:50:57,495 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
[root@hadoop100 input]# hdfs dfs -cat /clearlove/4396.txt
2020-06-19 00:52:04,788 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
7777
clearlove
  1. -cat： 显示文件内容
    如上
  2. -copyFromLocal： 从本地文件系统中拷贝文件到HDFS路径去
  3. -copyToLocal： 从HDFS拷贝到本地
  4. **-cp ：**从HDFS的一个路径拷贝到HDFS的另一个路径
  5. -mv： 在HDFS目录中移动文件
  6. -get： 等同于copyToLocal，就是从HDFS下载文件到本地
  7. -getmerge： 合并下载多个文件，比如HDFS的目录 /clearlove下有多个文件
    在这里插入图片描述
[root@hadoop100 input]# hdfs dfs -getmerge /clearlove/* ./uzi.txt
2020-06-19 00:59:21,523 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
2020-06-19 00:59:21,575 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
[root@hadoop100 input]# cat uzi.txt
7777
clearlove
clearlove
  1. -put： 等同于copyFromLocal
  2. -tail： 显示一个文件的末尾
[root@hadoop100 input]# hdfs dfs -tail /clearlove/777.txt
2020-06-19 01:01:47,715 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
clearlove
  1. -rm： 删除文件或文件夹
  2. -rmdir： 删除空目录
  3. -du： 统计文件夹的大小信息
[root@hadoop100 input]# hdfs dfs -du /clearlove
15  45  /clearlove/4396.txt
10  30  /clearlove/777.txt
[root@hadoop100 input]# hdfs dfs -du -s /clearlove
25  75  /clearlove
  1. -setrep： 设置HDFS中文件的副本数量
[root@hadoop100 input]# hdfs dfs -setrep 10 /clearlove/777.txt
Replication 10 set: /clearlove/777.txt

在这里插入图片描述

6. HDFS客户端操作（API、I/O流操作）

在这里插入图片描述

大数据学习之路4-hdfs客户端的理解
爱米酱的博客
07-30 823
通过前面的操作，我们已经搭建好了hdfs集群，现在的hdfs集群就相当于一个整体，如果我们想要用这个集群的话，就需要使用一个客户端来对文件进行操作。hdfs中的文件 不是指本机的文件，而是指，交由namenode和datanode管理的文件。那么这个客户端在哪里呢？我们的hadoop安装包中已经自带了客户端。 那么我们如何使用这个客户端呢？我们只需要通过hadoop中自带的脚本，就可以操作 ...
HDFS客户端操作
安歌Object
08-14 625
HDFS客户端环境准备 1．根据自己电脑的操作系统拷贝对应的编译后的hadoop jar包到非中文路径（例如：D:\Develop\hadoop-2.7.2） 2．配置HADOOP_HOME环境变量，如图 3. 配置Path环境变量，如图 4．创建一个Maven工程，如：HdfsClientDemo 5．导入相应的依赖坐标+日志添加 &lt;dependencies&gt;...
HDFS客户端
yx_keith的博客
04-19 669
HDFS目前提供了三种客户端接口：DistributeFileSystem、FsShell、DFSAdmin。 DistributeFileSystem为用户提供了API，用于开发HDFS应用程序；FSShell工具使用户可以通过HDFS Shell命令执行常见的文件系统操作，例如创建文件、删除文件、创建目录等；DFSAdmin则向系统管理员提供了管理HDFS的工具，例如执行升级、管理安全模式等操...
HDFS客户端文件写操作---概述
weixin_39935887的博客
02-28 402
前面我们用了很多文章讲解了HDFS客户端文件读操作的相关内容，现在我们开始进入到写操作部分，HDFS目前提供了三个客户端接口:DistributedFileSystem、FsShell和DFSAdmin，详细看 hadoop2.6.0源码剖析-客户端(第一部分--概述)，我们这里默认采用DistributedFileSystem接口，客户端在写操作前，首先需要调用DistributedFileSy...
Hadoop学习笔记之四：HDFS客户端
08-12 180
HDFS的客户端核心是DFSClient类，所有使用HDFS的客户端都会持有一个DFSClient对象，或通过持有一个DistributedFileSystem对象间接使用DFSClient；DFSClient通过ClientProtocol向NameNode进行元数据请求；当需要进行数据请求时，DFSClient会通过访问的类型（读、写）分别构造DFSInputStream、DFS...
大数据之hadoop中的HDFS（包括客户端操作）
a18379692263的博客
11-13 1979
1、概述 随着数据量的日益增长，数据的存储问题尤为突出，HDFS就是分布式文件管理系统中的一种。主要适用于一次写入，多次读出的场景。 hdfs优点：高容错性（数据自动保存多个副本，通过增加副本的形式，提高容错性；某个副本丢失以后，可以自动恢复。）；适合处理大数据；可构建在廉价机器上。 hdfs缺点：不适合低延时数据访问；无法高效的对大量小文件进行存储；不支持并发写入、文件随机修改（一个文件只能有一个写，不允许多个线程同时写；仅支持数据append，不支持...
Hadoop之HDFS的shell操作
01-07
Hadoop之HDFS概述 ：https://blog.youkuaiyun.com/weixin_45102492/article/details/104369155 HDFS的java客户端操作：https://blog.youkuaiyun.com/weixin_45102492/article/details/104378020 Hadoop之HDFS的数据流：...
大数据技术之_04_Hadoop学习_01_HDFS_HDFS概述+HDFS的Shell操作+HDFS客户端操作+HDFS的数据流(面试重点)+NameNode和SecondaryNameNode
黑泽君
02-05 773
大数据技术之_04_Hadoop学习_01_HDFS_HDFS概述+HDFS的Shell操作+HDFS客户端操作+HDFS的数据流(面试重点)+NameNode和SecondaryNameNode
HDFS详解：体系结构、Shell操作与Java接口
首先，文档概述了分布式文件系统的概念，它是在单个操作系统无法承载大量数据时，将数据分布在多台机器上进行管理和访问的解决方案，例如HDFS，适合于一次写入、多次读取的场景，不适合频繁的并发写入或处理大量小...
HDFS分布式文件系统
最新发布
u010307479的博客
12-08 1401
DataNode是分布式文件系统HDFS的工作节点， 负责数据的存储和读取，会根据客户端 （Client）或者是NameNode的调度进行数据的存储和检索， 并且向NameNode定期 发送自己所存储的块的列表。分级存储：HDFS的异构分级存储框架提供了RAM_DISK 、SSD 、DISK、ARCHIVE这4种存储类型的存储设备，以对应DataNode上可能存在的不同的存储介质。使用抽象块而非整个文件作为存储单元，可简化存储子系统，固定的块大小可方便元数据和文件数据块内容的分开存储；
hdfs客户端操作
zzds111的博客
11-20 935
hdfs客户端操作也就是在idea等环境也可以使用hdfs的一些命令，挑出一些常见的命令列出来： 文件操作 create 写文件 open 读取文件 delete 删除文件 目录操作 mkdirs 创建目录 delete 删除文件或目录 listStatus 列出目录的内容 getFileStatus 显示文件系统的目录和文件的元数据信息 getFileBlockLocations 显示文件存储位置 需要导入的依赖如下： <dependency> <g..
大数据开发之Hadoop学习7--HDFS客户端操作
LCreator的博客
03-01 537
HDFS客户端操作（开发重点） 目录 HDFS客户端操作（开发重点） 3.1 HDFS客户端环境准备 3.2 HDFS的API操作 3.2.1 HDFS文件上传（测试参数优先级） 3.2.2 HDFS文件下载 3.2.3 HDFS文件夹删除 3.2.4 HDFS文件名更改 3.2.5 HDFS文件详情查看 3.2.6 HDFS文件和文件夹判断 3.1 HDFS客户端环境准备 1）下载回来的Hadoop-3.1.0.tar.gz解压，然后找网盘的hadooponwindows-mast
hdfs客户端的理解，多种方式操作hdfs
呵少侠的博客
10-17 3987
hdfs的客户端有多种形式： 1、网页形式 2、命令行形式 3、客户端在哪里运行，没有约束，只要运行客户端的机器能够跟hdfs集群通信即可 文件的切块大小和存储的副本数量，都是由客户端决定！ 所谓的由客户端决定，是通过配置参数来定的 hdfs的客户端会读以下两个参数，来决定切块大小、副本数量： 切块大小的参数： dfs.blocksize 副本数量的参数： dfs.replicati
HDFS的客户端操作及常用命令
laozaoxiaowanzi的博客
01-13 886
HDFS的客户端形式 1.网页形式——网页客户端可以查看HDFS文件系统上的文件 2.命令行形式——hdfs客户端就是命令，可以进入Hadoop安装包的bin目录下，使用脚本Hadoop/hdfs来启动一个java客户端，进行hdfs的相关操作 3.客户端在哪里运行没有约束，只要运行客户端的机器能够和hdfs集群联网——可以写一个Java程序作为客户端访问hdfs、可以在hdfs集群中任一台机器或非集群中的一台机器上启动一个客户端（只需更改core-site.xml文件，指定hdfs的namenode
大数据Hadoop3.1.3——HDFS文件系统的shell操作、web界面操作权限设置（全部命令解析）
caron的博客
04-13 1422
1．基本语法 bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令 两个是完全相同的。 2．命令大全 bin/hadoop fs [-appendToFile <localsrc> ...<dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src> ......
HDFS架构+shell操作+客户端操作+读写流程
weixin_45793065的博客
07-15 704
文章目录1、章HDFS概述1.1 HDFS产出背景及定义1.1 HDFS产生背景1.2 HDFS定义1.2 HDFS优缺点1.2.1优点1.2.2缺点1.3 HDFS组成架构1.4 HDFS文件块大小（面试重点）2、 HDFS的Shell操作（开发重点）3、 HDFS客户端操作（开发重点）3.1 HDFS客户端环境准备1．根据自己电脑的操作系统安装对应的编译后的hadoop jar包到非中文路径2．配置HADOOP_HOME环境变量（win10)3. 配置Path环境变量，4．创建一个Maven工程Hdfs
hdfs客户端的学习理解
qq_38603049的博客
10-29 301
对hdfs客户端的理解 （1）该客户端的形式有多种 a.网页形式 b. 命令行形式 c.客户端在哪儿运行，都可以，只要该客户端可以和集群联网就行 （2）文件的切块大小和存储的副本数量，都是由客户端决定！ 所谓的由客户端决定，是通过配置参数来定的 hdfs的客户端会读以下两个参数，来决定切块大小、副本数量： 切块大小的参数：dfs.blocksize 副本数量的参数：dfs....
HDFS客户端上传下载文件流程
qq_32445015的博客
03-20 2333
HDFS客户端上次文件流程 1 客户端与nameNode通讯 1.1 客户端像nameNode发送上传文件请求。 1.2 nameNode返回响应，允许客户端上传文件。 1.3 客户端根据配置（dfs.blocksize - 块大少、hadoop 2.x 默认为128M）将文件切成N个block。 1.4 客户端向nameNode发出RPC请求上传第一个block，nameNode返回...
HDFS客户端读操作的详细过程
欲问君有几多愁的博客
03-17 1663
在HDFS客户端实现中，最重要也是最复杂的一部分就是文件的读写操作。 打开文件 当客户端读取一个HDFS文件时，首先会调用DistributedFileSystem.open（）方法打开这个文件，open方法首先会调用DFSCklient.open()方法创建HDFS文件对应的DFSInputStream输入流对象，然后构建一个HDFSDataInputSream对象包装DFSInputStr...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值