hadoop集群安装指南-hadoop3.2.4版本

hadoop3.2.4集群安装指南

下载地址：https://archive.apache.org/dist/hadoop/common/

前置准备

     三台服务器
     10.243.80.42 
     10.243.80.43 
     10.243.80.44 

1:安装jdk1.8

2:修改主机名方便集群间的访问

 hostname hadoop42
 hostname hadoop43
 hostname hadoop44
 同步修改/etc/hosts文件
 10.243.80.42 hadoop42
 10.243.80.43 hadoop43
 10.243.80.44 hadoop44

3:配置SSH免密码远程登录

     一、创建公钥/私钥
        ssh-keygen -t rsa 然后yes加一路回车
    二、将公钥拷贝到要免密登录的目标机器上
       ssh-copy-id hadoop42
       ssh-copy-id hadoop43
       ssh-copy-id hadoop44

4:创建hadoop用户

1：增加hadoop用户和密码
adduser hadoop
passwd hadoop
2：把hadoop加入hadoop用户组
usermod -a -G hadoop hadoop
3：然后用cat /etc/group |grep hadoop 查看结果
4：增加hadoop的权限
vi  /etc/sudores
hadoop ALL=(ALL)       ALL
5：将hadoop文件夹的所有者指定为hadoop用户
chown -R hadoop:hadoop /data01/bigdata/hadoop-3.2.4

hadoop安装

1.下载解压hadoop包

下载地址：http://archive.apache.org/dist/hadoop/core/
tar -no-same-owner -zxvf hadoop-3.2.4.tar.gz
创建软连接---方便版本升级
ln -s hadoop-3.2.4 hadoop
chown -R hadoop:hadoop /data01/bigdata/hadoop

2.修改环境变量

vim /etc/profile 添加
export HADOOP_HOME=/data01/bigdata/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

3:Hadoop集群配置=HDFS集群配置 + MapReduce集群配置 + Yarn集群配置