csg103的博客

切换到benxiong账号 node1 对node1 node2 node3 node4 免密 在node1执行。hdfs 有自己的权限控制，由超级用户控制，当启动NameNode的用户改变，超级用户也会改变。有用户的概念，没有API创建用户的脚本 默认信任客户端，使用操作系统的用户。复制core-site.xml hdfs-site.xml 到资源文件下。有超级用户 ，超级用户是启动NameNode的用户。切换到benxiong 做一下账号的ssh免密。类似Unix Linux。

在集群模式下有一个NameNode,数据磁盘化由SNN去做，高可用模式下有两个(hadoop2.0)或多个（3.0）NameNode ，一个主 其他的是备 ，备用节点可以去做磁盘化。架构如下所示部署架构图利用集群模式修改配置文件首先部署两个NameNode修改配置文件 mycluster为集群名称，根据此名称可以找到其他NameNode。

node 2 node3 node4 分别部署Jdk 和环境变量HADOOP_HOME 必须跟node1一样。NameNode 是基于内存 最好单独部署。复制到node2 node3 node4。node1修改 文件。

Namenode启动日志中先加载002的fsimage 然后在加载正在编辑的edits003 滚动 合成005 然后退出保护模式。修改脚本环境变量，因为脚本通过SSH去执行hadoop的配置文件 脚本中的环境变量不能读取，所以修改成绝对路径。对应的NameNode 存储位置会有持久化的NameNode信息。启动后会生成data数据 和SND数据 并且集群ID是一致的。正在编辑的文件为006 ，跟文件系统中的文件相吻合。SND 只需要拷贝出002 和002后面的增量。格式化NameNode。

分布式文件系统那么多 为啥还要开发一个hdfs?分块存储 由于有NameNode 存在 可以根据文件读取的偏移量计算出 当前需要读取的数据在哪一个DataNode中 直接读，不需要读取整个文件。这也是分布式并行计算的核心。