Hadoop [2] -- Hadoop 分布式文件系统剖析

I.Intro

• 什么是 DFS?
• 什么是 HDFS?
• 如何应用 HDFS?

II.Get Started

1.什么是 DFS?

• 由于一台机器的存储容量有限，当我们需要处理的数据量达到一定级别时，单个机器是很难满足我们的需求的。倘若让一台机器一下子在内存处理一个几十G, 甚至上百G的文件检索任务，显然是不可能完成的，即使有这样高效配置豪华的电脑，效率也是极低的。所以我们需要将文件存放在多台机器上，这就是分布式文件系统（DFS – Distributed File System)。
• DFS 核心架构是 Master-Slave Model。这是一个分布式模型。整个DFS 有一个多节点计算机集群组成。这些节点分两类：一类是“主节点” (Master Node)， 也被称为“名称节点”（Name Node)；另一类叫“从节点”（Slave Node)，也被称为“数据节点”（Data node)。

2.什么是 HDFS?

• 基于DFS 架构，并在Hadoop 平台实现的分布式文件系统。(Java实现）

3.Name Node & Data Node

• Name Node 负责管理文件系统的命名空间及客户端对文件的访问，也就是中心服务器，HDFS 只包含一个名称节点。
• Data Node 其实就相当于本地的一台Linux 服务器，在Name Node 的统一调度下，负责处理文件系统客户端的读写请求，或对数据的增删改查。HDFS 中一般有多个数据节点。

III. Summary

 学而时习之，方可为师也！?

• DFS 是分布式文件系统

 Do what you want to do, be what you want to be!
 LOVE && PEACE. ?