Nobigo

分布式文件系统 物理层存储的分布式。 基于客户机/服务器模式:通常一个分布式文件系统提供多个供用户访问的服务器。 通常情况下，会具有备份和容错的功能。 hdfs默认备份3份，如果数据丢失，hdfs会根据其他备份进行恢复。 通常情况下都基于操作系统的本地文件系统：-ext3，ext4。 分布式文件系统的优点： 传统文件系统最大的问题就是容量和吞吐量的限制。 多用户多应用的并行读写是分布式文件系统的产生

动态添加一个DataNode集群扩容需要添加新DataNode，通常是在需要增加存储的情况下，虽然有时也是为了增加IO总带宽或减小单台机器失效的影响。在运行中的HDFS集群上增加新的DataNode是一个在线操作或热操作。对于要使用HDFS主机及功能的用户，新主机的IP地址必须添加到include文件中，但主机列表可以动态更新而无需重新启动NameNode。 把DataNode的IP地址加入dfs.

NameNode 高可用整体架构概述在 Hadoop 1.0 时代，Hadoop 的两大核心组件 HDFS NameNode 和 JobTracker 都存在着单点问题，这其中以 NameNode 的单点问题尤为严重。因为 NameNode 保存了整个 HDFS 的元数据信息，一旦 NameNode 挂掉，整个 HDFS 就无法访问，同时 Hadoop 生态系统中依赖于 HDFS 的各个组件，包括