weixin_39563769的博客

到达block的末端时，DFSInputSream关闭与该datanode的连接，然后寻找下一个block的最佳datanode。列表中的datanode会形成管线，DataStreamer将数据包发送给管线中的第一个datanode，第一个datanode将接收到的数据发送给第二个datanode，第二个发送给第三个。b)为存储在另一正常datanode的当前数据块指定一个新的标志，并将该标志传送给namenode，以便故障datanode在恢复后可以删除存储的部分数据块。

这个辅助namenode一般在另一台单独的物理计算机上运行，因为它需要占用大量CPU时间，并且需要与namenode一样多的内存来执行合并操作。但是，辅助namenode保存的状态总是滞后于主节点，所以在主节点全部失效时，难免会丢失部分数据。在这种情况下，一般把存储在 NFS上的namenode元数据复制到辅助namenode并作为新的主namenode 运行。备份那些组成文件系统元数据的文件，Hadoop可以通过配置使namenode在多个文件系统上保存元数据的持久状态。是整个文件系统的管理节点。

为了查看程序的历史运行情况，需要配置一下历史服务器。

【代码】7 集群基本测试。

【代码】6 ssh面密登录。

注意：如果是第一次启动集群，需要进行初始化，只有第一次启动的时候才需要初始化。

每个节点都有自己的IP和主机名，各个节点默认进行文件传递或通信时需要使用对应的ip进行通信，为了方便各个节点之间的通信和文件传递，可以配置各个节点名称与ip之间的映射，节点之间通信时可以直接写对应的主机名称，不必写复杂的ip。在每台节点上修改/etc/hostname,配置对应的主机名称，参照节点IP与节点名称对照表分别为：node1、node2、node3、node4、node5。在每台节点执行如下命令，在每台节点的“~”目录下，创建.ssh目录，注意，不要手动创建这个目录，因为有权限问题。

bin是根路径下的bin。

（1）bin目录：存放对Hadoop相关服务（hdfs，yarn，mapred）进行操作的脚本。（2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件。（3）lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）（5）share目录：存放Hadoop的依赖jar包、文档、和官方案例。（4）sbin目录：存放启动或停止Hadoop相关服务的脚本。其中比较的重要的路径有： hdfs,mapred,yarn。

Yet Another Resource Negotiator 简称 YARN ，另一种资源协调者，是 Hadoop 的资源管理器。yarn主要管理的是整个集群的内存和cpuApplicationManager运行在Container(容器)上，容器是一种虚拟化的技术，类似阿里云的容器虚拟技术，不会是真正的无数台服务器.负责hadoop中的计算部分。