Hadoop分布式集群搭建以及案例运行-fs操作

Hadoop分布式集群搭建案例步骤(也可以叫分布式文件系统)

一：创建分布式集群环境

二：设置静态ip以及主机名与映射关系

三：创建用户、配置SSH无密登录

四：子机dn操作

五：配置主机jdk、hadoop的环境以及hadoop文件

六：打包、 远程传输至子机

七： 启动hadoop集群以及运行案例

基于hadoop的整体分布式模块交互

 1）分布式系统的定义

  把数据放到一个服务器集群上面，分为：主控服务器（Master/NameNode），数据服务器（ChunkServe r/DataNode），和客户服务器Client.HDFS和GFS都是按照这个架构模式来搭建的

 2）核心内容 ：文件的目录结构独立存储在一个NameNode上，二具体文件数据，拆分成若干块，冗余的存放在不

同的数据服务器上（DataNode）。存储目录结构的主控服务器，在GFS中称为Master，在HDFS中称为Na

meNode

基于Hadoop的HDFS

 HDFS采用master/slave架构。一个HDFS集群是有一个Namenode和一定数目的Datanode组成。Namenode是一个中心服务器，负责管理文件系统的namespace和客户端对文件的访问。一个文件其实分成一个或多个block，这些block存储在Datanode集合里。Namenode执行文件系统的namespace操作，比如打开、关闭、重命名文件和目录；同时决定block到具体Datanode节点的映射

 1）NameNode存放两种信息：文件和block的映射、block和DataNode的映射。文件和block的映射，固化在磁盘上。而block和DataNode的映射在DataNode启动时上报给NameNode，即blockReport

2）HDFS协议 ： ClientDatanodeProtocol ：一个客户端和datanode之间的协议接口，用于数据块恢复；ClientProtocol ：client与Namenode交互的接口，所有控制流的请求均在这里，如：创建文件、删除文件等；DatanodeProtocol : Datanode与Namenode交互的接口，如心跳、blockreport等；NamenodeProtocol ：SecondaryNode与Namenode交互的接口；InterDatanodeProtocol：用于DataNode和DataNode通信

准备工作：

1）JDK下载、Hadoop下载：作用是为海量数据提供(HDFS)分布式存储和(YARN)分布式计算

博主这里的jdk是1.8的版本，hadoop是2.7，有的单位还会用hadoop-2.6.0-cdh5.7.0看个人需要去下载

2）红色字体是易疏忽出错的地方要注意

一：创建分布式集群环境

我这里克隆了一个主机（Hadoop NN）两个子机（DN138/139）

二：设置静态ip以及主机名与映射关系

2.1)设置静态ip ：/etc/sysconfig/network-scripts/ifcfg-ens33

  TYPE=Ethernet
    BOOTPROTO=static
    DEFROUTE=yes
    IPV4_FAILURE_FATAL=no
    IPV6INIT=yes
    IPV6_AUTOCONF=yes
    IPV6_DEFROUTE=yes
    IPV6_FAILURE_FATAL=no
    IPV6_ADDR_GEN_MODE=stable-privacy
    NAME=ens33
    UUID=e950fdd1-ae15-4a50-ae68-7b852d8e7e98
    DEVICE=ens33
    ONBOOT=yes
    PEERDNS=yes
    PEERROUTES=yes
    IPV6_PEERDNS=yes
    IPV6_PEERROUTES=yes
    IPV6_PRIVACY=no
    NETMASK=255.255.255.0
    NM_CONTROLLED=no
    GATEWAY=192.168.229.2
    DNS1=202.106.0.20
    IPADDR=192.168.229.137

我这里克隆的时候就已经配置了ens33文件，所以我只用在最后一行追加IPADDR就可以

echo IPADDR=192.168.229.137 >> /etc/sysconfig/network-scripts/ifcfg-ens33

重启配置文件：service network restart

检查IP以及网络是否可以连接：ping ip地址 / ping www.baidu.com

如果外网连接失败编辑resolv.conf文件配置nameserver IP或者8.8.8.8

# vi /etc/resolv.conf

2.2)设置主机名

echo 主机名 >> /etc/hostname(我这里设置的主机名是nn137)

2.3)配置映射

语法：echo IP 主机名 >> /etc/hosts

echo 192.168.229.137 nn37 >> /etc/hosts

echo 192.168.229.138 dn138 >>