hadoop3.1.2 + zookeeper3.5.5 + hbase2.0.5 安装

1. 集群结构

类型 zookeeper Hbase
master NameNode HMaster
slave1 DataNode HRegionServer
slave2 DataNode HRegionServer
slave3 DataNode HRegionServer

2. hosts文件(这里用的DHCP

IP hostname
10.108.21.X master
10.108.22.X slave1
10.108.22.X slave2
10.108.21.X slave3

3. hadoop安装

ps:所以的文件使用hadoop用户解压可以避免权限麻烦

3.1 修改主机名(全部主机上实现)

vim /etc/hostname
将内容全删除后修改为:master(slave1\slave2\slave3同样操作

3.3 修改hosts文件(全部主机上实现)

vi /etc/hosts
修改为上述hosts文件,将ip和hostname作映射

3.4 关闭防火墙和selinux(使用root用户,全部主机进行该操作)

关闭防火墙

sudo systemctl stop firewalld.service
sudo systemctl disable firewalld.service

关闭selinux

vi /etc/selinux/config

将SELinux status参数设定为关闭状态

SELinux status:                 disabled

需要重启需要重启需要重启

3.5 建立hadoop用户(全部主机上实现)

useradd -m hadoop
passwd hadoop  #123456(忽略警告)
usermod -a -G hadoop hadoop   # 将hadoop用户移进hadoop用户组
cat  /etc/group    #查看用户组

3.6 为hadoop用户添加超级用户权限(全部主机上实现(这步不是必要))

$ visudo

##在行 root ALL=(ALL) ALL下添加
%hadoop ALL=(ALL) ALL
hadoop ALL=(ALL) ALL

并切换到hadoop用户:$ su hadoop

3.7 设置hadoop用户ssh免密通信

先对每个主机都生成rsa密钥,如生成master的rsa密钥

ssh-keygen -t rsa

后面都可以在master操作,将生成的rsa追加写入授权文件

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

给授权文件权限

chmod 600 ~/.ssh/authorized_keys

对本机ssh测试(第一次需要密码)

ssh master

将master上的authorized_keys传到slave1

sudo scp ~/.ssh/id_rsa.pub hadoop@slave1:~/

登陆连接到slave1进行操作:

ssh slave1
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
#修改权限
chmod 600 ~/.ssh/authorized_keys
#退出slave1
exit

进行免密测试

ssh slave1

其他主机同理

3.8 安装java(统一版本)

这里安装的版本为:jdk-8u211-linux-x64.tar.gz
编辑环境变量

vi  ~/.bashrc

将java目录添加进环境

#java 1.8
JAVA_HOME=/usr/local/java/jdk1.8.0_211
CLASSPATH=.:$JAVA_HOME/lib.tools.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH

查看JAVA环境变量

echo $JAVA_HOME

3.9 下载hadoop

下载3.1.2版本

3.10 解压

使用命令将解压放至home/hadoop 下,我的解压完后目录为:

/home/hadoop/hadoop-3.1.2

3.11 修改配置文件(都在hadoop/hadoop-3.1.2/etc/hadoop/目录下)

3.11.1 修改hadoop-env.sh文件

vi hadoop/hadoop-3.1.2/etc/hadoop/hadoop-env.sh

把JAVA_HOME添加进去

export JAVA_HOME=/usr/local/java/jdk1.8.0_211

3.11.2 修改 core-site.xml

<configuration>
    <!-- 指定 namenode 的通信地址 默认 8020 端口 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000/</value>
    </property>

    <!-- 指定 hadoop 运行时产生文件的存储路径 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoop-3.1.2/tmp</value>
    </property>
    
	<!-- 安装zookeeper需要,否则不要-->
    <!-- 指定zookeeper地址,clientPort=2181 -->
    <property>
 
        <name>ha.zookeeper.quorum</name>
 
        <value<
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值