pugongying_95的博客

hadoop权威指南Hadoop文件系统：namenode管理文件系统的命名空间，维护文件系统树及整颗树内所有文件和目录，这些信息以两个文件形式永久保存在本地磁盘上：命名空间镜像文件和编辑日志文件。 datanode也记录着每个该文件中各个块所在的数据节点信息，但不永久保存块的位置信息，因为这些信息会在系统启动时由数据节点重建。 HDFS的块比磁盘的块大，其目的是为了最小化寻址开销（磁盘传输时间远...

Hadoop的I/O操作数据完整性监测数据是否损坏常用：计算校验和（不能修复数据）HDFS的数据完整性：HDFS对写入的所有数据计算校验和，并在读取数据时验证校验和。针对每个由io.bytes.per.checksum(默认512)指定的字节的数据计算校验和。datanode负责收到数据后存储数据及验证校验和。 客户端从datanode读取数据时，验证校验和，每个datan...

单机模式：用于对MapReduce程序的逻辑进行调试，用于开发和调试默认处于该模式使用本地文件系统，而不是HDFSmap和reduce任务作为同一个进程的不同部分来执行伪分布式模式：开发测试Hadoop程序执行是否正确在一台主机模拟多主机Hadoop启动namenode,datanode,jobtracker,tasktracker这些守护进程在同一台机器上运行，是相互独立...