大数据学习05：HDFS数据的存储

HDFS：数据存储

（一）HDFS的体系架构

1、NameNode：名称节点

       （*）职责：
            （1）是HDFS的主节点、管理员
            （2）接收客户端（命令行、Java程序）的请求：创建目录、上传数据、下载数据、删除数据
           （3）管理和维护HDFS的日志和元信息
                （*）日志文件（edits文件）：记录的客户端的所有操作
                    （是一个二进制文件）
                    位置：$HADOOP_HOME/temp/dfs/name/current
                    edits_inprogress_000000000000000000000107代表：正在操作的日志文件
                    举例：hdfs dfs -mkdir /aaa
                    HDFS提供了一个查看器（edits viewer ）:把edits文件转换成文本格式
                    命令：hdfs oev -i edits_inprogress_000000000000000000000107 ~/a.xml
               (*)元信息文件（fsimage文件）：记录的是数据块的位置信息、数据块的冗余信息，
               没有数据体现HDFS的最新状态
               是一个二进制文件
               位置：$HADOOP_HOME/tmp/dfs/name/current
               HDFS提供了一个元信息查看器（imageviewer），把fsimage文件转为文本或者xml都可以

2、DateNode：数据节点

            （*）按数据块保存数据
                    1.x：64M
                    2.x：128M
            （*）数据块：表现形式：就是一个文件（blk*****************）

             举例：上传一个大于128M的文件
             （*）设置数据块冗余度原则：一般跟数据节点的个数一样：但是最大不超过3
             （*）Hadoop 3.以前。会造成空间的极大浪费
             （*）Hadoop 3.以后。HDFS纠删码技术，大大节约存储空间

3、SecondaryNameNode：第二名称节点

            职责：进行日志的合并
            
            （*）由于edits文件记录了最新的状态信息，并且随着操作越多，edits就会越大
            （*）需要edits中的最新信息写到fimage中
            （*）edits文件就可以清空
            
            （NameNode和SecondaryNameNode在同一台机器上，会提高效率）

补充点知识：检查点checkpoint
() Spark中的检查点：容错机制
（）Oracle中的检查点：会以最高优先级唤醒数据库的写进程，将脏数据写入硬盘文件