Hadoop-HDFS

 Hadoop介绍

作者:Doug Cutting

是Nutch搜素引擎的一个模块

 

基础模块

Hbase: Nosql数据库 key value 最大化利用内存

HDFS: 分布式文件系统，最大化利用磁盘

MapReduce :编程模式，主要作数据分析，最大化利用CPU

 

 

HDFS

HDFS设计原则:

1.文件以块block方式存储

2.内个块带下远比多数文件系统来的大

3.通过副本机制提高可靠度和读取吞吐量

4.每个区块至少分到三台DataNode上

5.单一master(NameNode)来协调存储元数据(metadata)

6.客户端对文件没有缓存机制(nocache)

 

NameNode

NameNode(NN):提供名称查询服务，它是一个jetty服务器。

NameNode保存metadata信息包括

1.文件owership和permissions

2.文件包含哪些块

3.Block保存在哪个DataNode(由DataNode启动时上报)

 

Metadata

metadata:NameNode的metadata信息在启动后会加载到内存

metadata存储到磁盘文件名为"fsimage"  Block的位置信息不会保存到fsimage

 

 

DataNode(DN)

1.保存Block

2.启动DN线程的时候会向NN汇报block信息

3.通过向(NameNode)发送心跳保持与其联系(3秒一次),如果NN10分钟没有收到DN的心跳，

则认为其已经lost,并copy其上的block到其它DN

 

Block

1.设置一个Block64MB,如果上传文件小于改值，仍然会占用一个Block的命名空间

(NameNode metadata),但是物理存储上不会占用64MB的空间

2.Block大小和副本数由Client端上传文件到HDFS时设置，其中副本数可以变更，

Block是不可以再上传后变更的

 

数据损坏(corruption)处理

1.当DataNode读取block的时候，它会计算checksum

2.如果计算后的checksum,与block创建时值不一样，说明该block已经损坏。

3.client 读取其它DN上的block;NN标记该blcok已经损坏,然后复制block达到预期设置的文件备份数

4.DN在其文件创建后三周验证其checksum

 

SecondaryNameNode(SNN)

1.她不是NN的热备份

2.可以作为冷备份

  将本地保存的fsimage导入

  修改cluster所有DN的NameNode地址

  修改所有client端NameNode地址

  or修改SNN IP 为原NNIP

3.它的工作是帮助NN合并edits log ,减少NN启动时间

 

EditLog和fsimage

fsimage保存了最新的元数据检查点。

Namenode上保存着HDFS的名字空间。对于任何对文件系统元数据产生修改的操作，Namenode都会使用一种称为EditLog的事务日志记录下来;文件系统元数据的持久化

 

 

EditLog两种方式同步到fsimage:

1.根据时间

2.根据EditLog大小

 

HDFS文件读取:

client 1.open Distributed File System

      2.get block locations(在NN里)

      3.read(通过FSData InputStream)

      4.读取各个DataNode

      5.读取各个DataNode2

      6.close

 

HDFS文件写入:

client 1.create Distributed File System

       2.create NN

       3.write  FSDataOutputStream

       4.write packet (各个DataNode 互相写)

       5.ack packet

       6.close

 

HDFS命令：

--创建文件夹:

hadoop fs -mkdir /user/hadoop/2015

--上传文件:

hadoop fs -put/copyFromLocal word.txt/user/hadoop/2015

--删除文件  文件夹

hadoop fs -rm /user/hadoop/2015/word.txt

--查看文件夹里的文件

hadoop fs -ls /user/hadoop/2015/

--查看文件内容

hadoop fs -text/cat/tail/user/hadoop/2015/word.txt

 

Hadoop权限管理

Hadoop权限和unix一样的API:

每个文件和目录有一个所有者（owner）和一个组（group）。

不同于POSIX模型，HDFS权限模型中的文件没有sticky，setuid或setgid位，因为这里没有可执行文件的概念。

 

Hadoop安全模式(升级的时候用):

NN namenode启动：

1.载入fsimage到内存，执行EditsLog

2.成功建立文件系统元数据的映射，则创建一个新的fsimage文件和一个空的EditsLog

3.NN开始监听RPC和HTTP请求

4.此刻NN运行在安全模式，(nn文件系统对客户端是只读，显示目录，显示文件内容。写删重命名会失败)。

5.系统中block位置不是由namenode维护的，而是以block列表形式存储在datanode中

6.正常操作期间，NN会在内存中保留所有块位置的映射信息。

7.安全模式下，各个DN会向NN发送block列表的最新情况

8.进入和离开安全模式

  查看NN state

 hadoop dfsadmin -satemode get

 

  进入安全模式(hadoop启动的时候是在安全模式)

 hadoop dfsadmin -safemode enter

 

  离开安全模式

 hadoop dfsadmini -safemode leave

资料:

http://hadoop.apache.org/

http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_design.html