大数据之hdfs（1）

一：hdfs的概念

   数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统 。 

  是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。 

  通透性。让实际上是通过网络来访问文件的动作，由程序与用户看来，就像是访问本地的磁盘一般。 

  容错。即使系统中有某些节点脱机，整体来说系统仍然可以持续运作而不会有数据损失。 

  分布式文件管理系统很多，hdfs只是其中一种，不合适小文件。

二：hdfs的shell

   调用文件系统(FS)Shell命令应使用 bin/hdfs dfs xxx 的形式。 

  所有的FS shell命令使用URI路径作为参数。 　

    URI格式是scheme://authority/path。HDFS的scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，

    如果未加指定，就会使用配置中指定的默认scheme。 　

  例如：/parent/child可以表示成hdfs://namenode:namenodePort/parent/child，

            或者更简单的/parent/child（假设配置文件是namenode:namenodePort） 

  大多数FS Shell命令的行为和对应的Unix Shell命令类似。

三：hdfs的常见shell命令

   hadoop fs -ls /  查看HDFS根目录 

  hadoop fs -mkdir /test 在根目录创建一个目录test     

  hadoop fs -mkdir /test1 在根目录创建一个目录test1 

  echo -e 'hadoop second lesson' >test.txt 

  hadoop fs -put ./test.txt /test 或hadoop fs -copyFromLocal ./test.txt /test #cd ..     

  hadoop fs -get /test/test.txt .  或#hadoop fs -getToLocal /test/test.txt . 

  hadoop fs -cp /test/test.txt /test1 

  hadoop fs -rm /test1/test.txt 

  hadoop fs -mv /test/test.txt /test1 

  hadoop fs -rmr /test1   

  hadoop fs -appendToFile

四：hdfs的dfsadmin命令

   bin/hdfs dfsadmin -setQuota 10 lisi 

  -clrQuota 清空 

  bin/hdfs dfsadmin -setSpaceQuota 4k /lisi/ 

  -clrSpaceQuota 清空 

  查看bin/hdfs dfs -count -q -h /lisi 

  安全模式bin/hdfs dfsadmin -safemode

五：httpFS访问

   编辑文件httpfs-env.sh 

  执行sbin/httpfs.sh 

  执行命令curl -i 

    " http://192.168.1.213:14000/webhdfs/v1?user.name=root&op=LISTSTATUS " 

  更多命令参考 http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/WebHDFS.html

编辑文件httpfs-env.sh 

编辑文件core-site.xml 

<property>     

    <name>hadoop.proxyuser.root.hosts</name>     

    <value>*</value> 

</property> 

<property>     

    <name>hadoop.proxyuser.root.groups</name>     

    <value>*</value> 

</property> 

编辑文件hdfs-site.xml 

<property>           

    <name>dfs.webhdfs.enabled</name>            

    <value>true</value> 

</property> 

重新启动namenode，执行sbin/httpfs.sh start 

执行命令curl -i 

" http://192.168.1.213:14000/webhdfs/v1?user.name=root&op=LISTSTATUS" 

更多命令参考 http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/WebHDFS.html

六：HDFS的体系结构

  

七：NameNode

   是整个文件系统的管理节点。它维护着整个文件系统的文件目录树，文

件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。      

  文件包括： 

    fsimage:元数据镜像文件。存储某一时段NameNode内存元数据信    息。 

    edits:操作日志文件。 

    fstime:保存最近一次checkpoint的时间 

以上这些文件是保存在linux的文件系统中。

八：查看NameNode内容

   启动服务器bin/hdfs oiv -i 某个fsimage文件 

  查看内容bin/hdfs dfs -ls  -R webhdfs://127.0.0.1:5978/ 

  导出结果bin/hdfs oiv -p XML -i  tmp/dfs/name/current/fsimage_0000000000000000055  -o fsimage.xml 

  查看edtis内容bin/hdfs oev -i tmp/dfs/name/current/edits_0000000000000000057-0000000000000000186   -o edits.xml

九：DataNode

   提供真实文件数据的存储服务。 

  文件块（block）：最基本的存储单位。对于文件内容而言，一个文件的    长度大小是size，那么从文件的０偏移开始，按照固定的大小，顺序对文        件进行划分并编号，划分好的每一个块称一个Block。 HDFS默认Block大小是128MB，以一个256MB文件，共有256/128=2个Block. 

  不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间 

  Replication。多复本。默认是三个。

十：数据存储block，staging

   HDFS client上传数据到HDFS时，会首先在本地缓存数据，当数据达到一个block大小时，请求NameNode分配一个block。NameNode会把block所在的DataNode的地址告诉HDFS client。HDFS client会直接和DataNode通信，把数据写到DataNode节点一个block文件中。

 

读文件解析

  

写文件解析

十一：java访问hdfs读文件

1.首先调用FileSystem对象的open方法，其实是一个DistributedFileSystem的实例 

2.DistributedFileSystem通过rpc获得文件的第一批个block的locations，同一block按照重复数会返回多个locations，这些locations按照hadoop拓扑结构排序，距离客户端近的排在前面. 

3.前两步会返回一个FSDataInputStream对象，该对象会被封装成DFSInputStream对象，DFSInputStream可以方便的管理datanode和namenode数据流。客户端调用read方法，DFSInputStream最会找出离客户端最近的datanode并连接。 

4.数据从datanode源源不断的流向客户端。 

5.如果第一块的数据读完了，就会关闭指向第一块的datanode连接，接着读取下一块。这些操作对客户端来说是透明的，客户端的角度看来只是读一个持续不断的流。 

6.如果第一批block都读完了，DFSInputStream就会去namenode拿下一批blocks的location，然后继续读，如果所有的块都读完，这时就会关闭掉所有的流。 

如果在读数据的时候，DFSInputStream和datanode的通讯发生异常，就会尝试正在读的block的排第二近的datanode,并且会记录哪个datanode发生错误，剩余的blocks读的时候就会直接跳过该datanode。DFSInputStream也会检查block数据校验和，如果发现一个坏的block,就会先报告到namenode节点，然后DFSInputStream在其他的datanode上读该block的镜像 

该设计的方向就是客户端直接连接datanode来检索数据并且namenode来负责为每一个block提供最优的datanode，namenode仅仅处理block location的请求，这些信息都加载在namenode的内存中，hdfs通过datanode集群可以承受大量客户端的并发访问。 

十二：java访问hdfs写文件

1.客户端通过调用DistributedFileSystem的create方法创建新文件 

2.DistributedFileSystem通过RPC调用namenode去创建一个没有blocks关联的新文件，创建前，namenode会做各种校验，比如文件是否存在，客户端有无权限去创建等。如果校验通过，namenode就会记录下新文件，否则就会抛出IO异常. 

3.前两步结束后会返回FSDataOutputStream的对象，象读文件的时候相似，FSDataOutputStream被封装成DFSOutputStream.DFSOutputStream可以协调namenode和datanode。客户端开始写数据到DFSOutputStream,DFSOutputStream会把数据切成一个个小packet，然后排成队列data quene。  

4.DataStreamer会去处理接受data quene，他先问询namenode这个新的block最适合存储的在哪几个datanode里（参考第二小节），比如重复数是3，那么就找到3个最适合的datanode，把他们排成一个pipeline.DataStreamer把packet按队列输出到管道的第一个datanode中，第一个datanode又把packet输出到第二个datanode中，以此类推。 

5.DFSOutputStream还有一个对列叫ack quene，也是有packet组成，等待datanode的收到响应，当pipeline中的所有datanode都表示已经收到的时候，这时akc quene才会把对应的packet包移除掉。 如果在写的过程中某个datanode发生错误，会采取以下几步：

    1) pipeline被关闭掉；

    2)为了防止防止丢包ack quene里的packet会同步到data quene里；

    3)把产生错误的datanode上当前在写但未完成的block删掉；

    4）block剩下的部分被写到剩下的两个正常的datanode中；

    5）namenode找到另外的datanode去创建这个块的复制。当然，这些操作对客户端来说是无感知的。 

6.客户端完成写数据后调用close方法关闭写入流 

7.DataStreamer把剩余得包都刷到pipeline里然后等待ack信息，收到最后一个ack后，通知datanode把文件标示为已完成。 

另外要注意得一点，客户端执行write操作后，写完得block才是可见的，正在写的block对客户端是不可见的，只有调用sync方法，客户端才确保该文件被写操作已经全部完成，当客户端调用close方法时会默认调用sync方法。是否需要手动调用取决你根据程序需要在数据健壮性和吞吐率之间的权衡。