hadoop集群搭建（超详细版）

1.准备好需要安装的软件

虚拟机VMware12.pro

操作系统CentOS 6.5

远程控制虚拟机的终端SecureCRT8.1

2.在虚拟机中安装CentOS操作系统

安装好虚拟机，图形界面如下图

创建新的虚拟机，选择自定义（高级），点击下一步

虚拟机硬件兼容性默认，浏览需要安装的CentOS6.5镜像文件

自定义用户名和密码（用于登录）

设置虚拟机名称和存储路径

处理器设置默认（后面可以修改），内存设为1GB

网络类型选择NAT模式

选择创建新虚拟磁盘

最大磁盘大小设为20GB，然后将虚拟磁盘存储为单个文件

将创建好的磁盘文件存储在虚拟机指定目录下

虚拟机创建完成

3. 虚拟网络配置

编辑虚拟网络设置，选择NAT模式

点击NAT设置，查看网络信息（后面设置ip会用到）

查看主机ip地址

修改网络配置文件，将BOOTPROTO值修改为”static”

重启网络服务network

再次查看主机ip

4. 更改主机名称

修改主机名文件（重启永久生效）

查看主机名hostname（文件修改后没有重启主机名没有生效，可以用hostname临时生效）

复制master文件两次，重命名为slave1和slave2，打开虚拟机文件，然后按照同样的方法设置两个节点的ip和主机名

5.建立主机名和ip的映射

查看是否能ping通

6.配置ssh免密码登录

在root用户下输入ssh-keygen -t rsa 一路回车

秘钥生成后在~/.ssh/目录下，有两个文件id_rsa(私钥)和id_rsa.pub（公钥），将公钥复制到authorized_keys并赋予authorized_keys600权限

同理在slave1和slave2节点上进行相同的操作，然后将公钥复制到master节点上的authoized_keys

将master节点上的authoized_keys远程传输到slave1和slave2的~/.ssh/目录下

检查是否免密登录（第一次登录会有提示）

7.关闭防火墙

关闭selinux（永久）

8.安装JDK

三个节点安装java并配置java环境变量

解压压缩包

在/etc/profile文件里添加jdk路径

执行命令source /etc/profile使配置文件生效，并查看java版本信息

9.安装MySQL（主节点）

查询系统已安装的mysql

彻底卸载mysql及其所依赖的包

解压MySQL包

安装MySQL有关的三个rpm包，分别为server、client和devel包

启动mysql /usr/bin/mysqld_safe --skip-grant-tables & 并登陆mysql数据库

查看mysql中的数据库

10.安装SecureCRT

操作比较简单，安装好的图形界面如图

连接好之后

12.搭建集群

12.1 集群结构

三个结点：一个主节点master两个从节点 内存1GB 磁盘20GB

 

 

Ip地址	主机名	Namenode	Secondary namenode	Datanode	Resource Manager	NodeManager
192.168.63.16	master	Y	Y	N	Y	N
192.168.63.17	slave1	N	N	Y	N	Y
192.168.63.18	slave2	N	N	Y	N	Y

12.2 新建hadoop用户及其用户组

用adduser新建用户并设置密码

 

将新建的hadoop用户添加到hadoop用户组

前面hadoop指的是用户组名，后一个指的是用户名

赋予hadoop用户root权限

12.3 安装hadoop并配置环境变量

由于hadoop集群需要在每一个节点上进行相同的配置，因此先在master节点上配置，然后再复制到其他节点上即可。

将hadoop包放在/usr/目录下并解压

配置环境变量

在/etc/profile文件中添加如下命令

12.4 搭建集群的准备工作

在master节点上创建以下文件夹

/usr/hadoop-2.6.5/dfs/name

/usr/hadoop-2.6.5/dfs/data

/usr/hadoop-2.6.5/temp

 

12.5 配置hadoop文件

接下来配置/usr/hadoop-2.6.5/etc//hadoop/目录下的七个文件

slaves    core-site.xml    hdfs-site.xml     mapred-site.xml     yarn-site.xml     hadoop-env.sh   yarn-env.sh

配置hadoop-env.sh

配置yarn-env.sh

配置slaves文件，删除localhost

配置core-site.xml

 

配置hdfs-site.xml

 

配置mapred-site.xml

 

配置yarn-site.xml

 

将配置好的hadoop文件复制到其他节点上

12.6 运行hadoop

格式化Namenode

source /etc/profile

13. 启动集群

[root@master sbin]# ./start-all.sh