Apache Hadoop集群搭建

一、Apache Hadoop概述

     

Hadoop介绍

狭义上Hadoop指的是Apache软件基金会的一款开源软件。 

用java语言实现，开源

允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理

2 Hadoop核心组件

Hadoop HDFS（分布式文件存储系统）：解决海量数据存储

Hadoop YARN（集群资源管理和任务调度框架）：解决资源任务调度

Hadoop MapReduce（分布式计算框架）：解决海量数据计算

Hadoop现状

HDFS作为分布式文件存储系统，处在生态圈的底层与核心地位；

YARN作为分布式通用的集群资源管理系统和任务调度平台，支撑各种计算引擎运行，保证了Hadoop地位；

MapReduce作为大数据生态圈第一代分布式计算引擎，由于自身设计的模型所产生的弊端，导致企业一线几乎不

再直接使用MapReduce进行编程处理，但是很多软件的底层依然在使用MapReduce引擎来处理数据。

Hadoop集群简介

逻辑上分离：两个集群互相之间没有依赖、互不影响

物理上在一起：某些角色进程往往部署在同一台物理服务器上

二、Hadoop集群模式安装（Cluster mode）

Step1:集群角色规划

  角色规划的准则

  根据软件工作特性和服务器硬件资源情况合理分配

  角色规划注意事项

  资源上有抢夺冲突的，尽量不要部署在一起工作上需要互相配合的。尽量部署在一起

  例如

Step2:服务器基础环境准备

  

1  主机名设置（3台机器）

 代码如下： vim /etc/hostname

 

2  Hosts映射（3台机器）

  代码如下：vim /etc/hosts

3  防火墙关闭（3台机器）

代码如下：systemctl stop firewalld.service # 关 闭 防 火 墙

                  systemctl disable firewalld.service #禁止防火墙开启自启

4  ssh免密登录（node1执行->node1|node2|node3）

代码如下： ssh-keygen #4个回车 生成公钥、私钥ssh-copy-id nodessh-copy-id nodessh-copy-id node3 #

5  集群时间同步（3台机器）

代码如下： yum -y install ntpdate

                   ntpdate ntp4.aliyun.com

6  创建统一工作目录（3台机器）
 

代码如下：mkdir -p /export/server/ #软件安装路径

                  mkdir -p /export/data/ #数据存储路径

                  mkdir -p /export/software/ #安装包存放路径

7  JDK 1.8安装（3台机器）

 8  上传、解压Hadoop安装包（node1）

  代码如下：cd /export/server（#上传安装包到/export/server 解压）

                    tar zxvf hadoop-3.3.0-Centos7-64-with-snappy.tar.gz

9  编辑Hadoop配置文件

（1）在vim下打开hadoop-env.sh

  代码如下：vim hadoop-env.sh

          添加如下配置文件

          export JAVA_HOME=/export/server/jdk1.8.0_241

          export HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER=root