Hadoop 3.x搭建基础HDFS集群

与Hadoop 2.x相比，它有一些新的特性如下：

1. 基于JDK 1.8

1. HDFS可擦除编码
2. MR Native Task优化
3. 基于Cgroup的内存隔离和IO Disk隔离
4. 更改分配容器资源Container resizing
5. ……

 

Hadoop 3 HDFS的架构

HDFS集群架构包含如下：NameNode、DataNode、Secondary NameNode

1. NameNode

        接收客户端的读写服务

1. DataNode

        简称为DN，主要用来存储数据内容。本地磁盘目录存储数据块Block，以文件形式分别存储在不同的DataNode节点上，同时存储Block的元数据信息文件

1. Secondary NameNode

        NameNode把元数据存储在内存中，为了保证数据不丢失，需要把数据保存起来，这里的文件包含fsimage和edits。fsimage是整个元数据文件，在集群刚开始搭建的时候时空的，对元数据增删改的操作放在edits文件中，Secondary NameNode完成数据的合并操作，每隔3600秒更新一次

 

Hadoop 3配置

1. 部署配置

            Hadoop的配置涉及到以下几个文件：hadoop-env.sh、core-site.xml、hdfs-site.xml、works

                hadoop-env.sh：表示Hadoop运行环境变量配置

                core-site.xml：公共属性配置文件

                hdfs-site.xml：HDFS属性配置文件

                works：DataNode分布配置

        

        2. 配置 hadoop

     &n