Hadoop集群搭建

虚拟机安装

目录

虚拟机安装

        虚拟机克隆

Linux系统网络配置

        主机名 与IP映射 

网络参数配置

        配置网卡设备的Mac地址

ssh服务配置

haodoop集群部署模式

JDK安装、

Hadoop安装

Hadoop集群配置

格式化文件系统

启动和关闭Hadoop集群

通过UI界面查看Hadoop

---

        安装包

        VMware安装步骤

        选稍后安装

 一直下一步。是一台裸机，并未安装操作系统。

 虚拟机启动初始化

选择skip

选择使用所有空间

 选择基础服务器

 

 安装中

 

安装完成，登录

 

输入创建目录命令并执行 

data 目录放以后相关数据文件

servers 目录放软件安装目录

software目录放软件安装包

mkdir -p /export/data

mkdir -p /export/servers

mkdir -p /export/software

        虚拟机克隆

采用完整克隆的方式

 

克隆到Hadoop03 

Linux系统网络配置

        主机名 与IP映射 

                1、修改主机名

vi /etc/sysconfig/network

HOSTNAME=Hadoop02

HOSTNAME=Hadoop03

       2、 查看IP可选范围，并配置IP映射

vi /etc/hosts

192.1.16.144 Hadoop01

192.1.16.145 Hadoop02

192.1.16146 Hadoop03

后来我改成了 

192.1.16.146 Hadoop01

192.1.16.147 Hadoop02

192.1.16.148 Hadoop03

网络参数配置

        配置网卡设备的Mac地址

                主要配置Hadoop02 03

  vi    /etc/udev/rules.d/70-persistent-net-rules

   

    配置静态IP地址

vi  /etc/sysconfig/network-scripts/ifcfg-eth0

原来的

配置静态IP后

 

        配置效果验证 

                重启

ssh服务配置

        

1、SSH远程登录功能配置 

        安装并开启SSH服务 

        rpm -qa | grep ssh

        查看是否开启SSH服务

        ps -e | grep sshd 

虚拟机远程连接工具CRT

SSH公钥密钥原理

haodoop集群部署模式

        独立模式  伪分布式  完全分布式

JDK安装、

 

 

Hadoop安装

 一些目录

Hadoop集群配置

 ​​​​​​​

 

 

 

 

 

 

 

格式化文件系统

启动和关闭Hadoop集群

 单个节点逐个启动

启动主节点namenode

 

 

 jps查看是否启动成功

启动resourcemanager 

 

 

 关闭把start换成stop

脚本一键启动

 

 

通过UI界面查看Hadoop

 在Windows里配置主机ip映射,以便在Windows访问hadoop服务

路径在C盘/Windows/System32/drivers/etc/hosts

另外要在Hadoop里关闭防火墙

service iptables stop

chkconfig iptables off   禁止开机启动