HDFS 总结

目录

课程大纲（HDFS详解） 2

1. HDFS前言 3

2. HDFS的概念和特性 3

3. HDFS的shell(命令行客户端)操作 4

3.1 HDFS命令行客户端使用 4

3.2命令行客户端支持的命令参数 4

3.2 常用命令参数介绍 5

4. hdfs的工作机制 8

4.1 概述： 8

4.2 HDFS写数据流程 9

4.2.1 概述 9

4.2.2 详细步骤图 9

4.2.3 详细步骤解析 9

4.3. HDFS读数据流程 10

4.3.1 概述 10

4.3.2 详细步骤图： 10

4.3.3 详细步骤解析 10

5. NAMENODE工作机制 11

5.1 概述 11

5.2元数据管理 11

5.2.1 元数据存储机制 11

5.2.2 元数据手动查看 11

5.2.3 元数据的checkpoint 12

6. DATANODE的工作机制 13

6.1 概述 13

6.2 观察验证DATANODE功能 13

7. HDFS的java操作 13

7.1 搭建开发环境 13

7.2 获取api中的客户端对象 14

7.3 DistributedFileSystem实例对象所具备的方法 14

7.4 HDFS客户端操作数据代码示例： 15

7.4.1 文件的增删改查 15

7.4.2 通过流的方式访问hdfs 18

课程大纲（HDFS详解）

Hadoop HDFS	分布式文件系统DFS简介
	HDFS的系统组成介绍
	HDFS的组成部分详解
	副本存放策略及路由规则
	命令行接口
	Java接口
	客户端与HDFS的数据流讲解

目标：

掌握hdfs的shell操作

掌握hdfs的java api操作

理解hdfs的工作原理

******HDFS基本概念篇******

1. HDFS前言

1. 设计思想

分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析；

1. 在大数据系统中作用：

为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务

1. 重点概念：文件切块，副本存放，元数据

2. HDFS的概念和特性

首先，它是一个文件系统，用于存储文件，通过统一的命名空间——目录树来定位文件

其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色；

重要特性如下：

1. HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，老版本中是64M
2. HDFS文件系统会给客户端提供一个统一的抽象目录树，客户端通过路径来访问文件，形如：hdfs://namenode:port/dir-a/dir-b/dir-c/file.data
3. 目录结构及文件分块信息(元数据)的管理由namenode节点承担

——namenode是HDFS集群主节点，负责维护整个hdfs文件系统的目录树，以及每一个路径（文件）所对应的block块信息（block的id，及所在的datanode服务器）

1. 文件的各个block的存储管理由datanode节点承担

---- datanode是HDFS集群从节点，每一个block都可以在多个datanode上存储多个副本（副本数量也可以通过参数设置dfs.replication）

1. HDFS是设计成适应一次写入，多次读出的场景，且不支持文件的修改

(注：适合用来做数据分析，并不适合用来做网盘应用，因为，不便修改，延迟大，网络开销大，成本太高)

******HDFS基本操作篇******

3. HDFS的shell(命令行客户端)操作

3.1 HDFS命令行客户端使用

HDFS提供shell命令行客户端，使用方法如下

3.2 命令行客户端支持的命令参数

[-appendToFile <localsrc> ... <dst>]         [-cat [-ignoreCrc] <src> ...]         [-checksum <src> ...]         [-chgrp [-R] GROUP PATH...]         [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]         [-chown [-R] [OWNER][:[GROUP]] PATH...]         [-copyFromLocal [-f] [-p] <localsrc> ... <dst>]         [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]         [-count [-q] <path> ...]         [-cp [-f] [-p] <src> ... <dst>]         [-createSnapshot <snapshotDir> [<snapshotName>]]         [-deleteSnapshot <snapshotDir> <snapshotName>]         [-df [-h] [<path> ...]]         [-du [-s] [-h] <path> ...]         [-expunge]         [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]         [-getfacl [-R] <path>]         [-getmerge [-nl] <src> <localdst>]         [-help [cmd ...]]         [-ls [-d] [-h] [-R] [<path> ...]]         [-mkdir [-p] <path> ...]         [-moveFromLocal <localsrc> ... <dst>]         [-moveToLocal <src> <localdst>]