集群部署HDFS, ZooKeeper, HBase,ElasticSearch, ElasticSearch-head插件

本文档详细介绍了如何在三台服务器上进行HDFS、ZooKeeper、HBase和ElasticSearch的集群部署,包括配置主机名、关闭防火墙、免密SSH登录、安装Java、HDFS、Zookeeper、HBase和ElasticSearch,以及安装ElasticSearch-head插件。在部署过程中,需要注意端口冲突、版本匹配和环境变量配置等问题,确保所有服务正常启动和运行。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

三个服务器:
33.xxx.xxx.147
33.xxx.xxx.148
33.xxx.xxx.149
以147为主节点(NameNode等), 在147进行配置并发送至148, 149。
部署的软件版本:

名称 版本号
java 1.8.0_211
hadoop 2.7.2
hbase 1.2.6
zookeeper 3.5.5
elasticsearch 5.6.5
nodejs 4.4.7

部署时碰到的一些小问题:

  1. 端口被占用
  2. 版本不对应
  3. 环境变量配置后忘记source

在每台服务器上配置主机名, 添加hosts

1. 设置主机名为sla147, sla148, sla149. 三台都要操作, 以147为例
hostnamectl set-hostname sla147

2. 修改147的hosts, 添加
vi /etc/hosts

>>>
33.xxx.xxx.147 sla147
33.xxx.xxx.148 sla148
33.xxx.xxx.149 sla149
>>>

关闭防火墙

# 三台机器都要进行以下操作
systemctl stop firewalld
systemctl disable firewalld

ssh生成密钥并设置ssh免密登录

在147, 148, 149上分别进行以下操作, 以147为例。
1. 进入用户目录下的.ssh, root用户为 /root/.ssh, 普通用户为 /home/用户/.ssh, 如果没有则进行创建, 修改权限为700.
mkdir ~/.ssh
chmod 700 ~/.ssh
cd ~/.ssh

2. 创建密钥对, 一直enter就可以了, 完成后当前目录下生成id_rsa 和 id_rsa.pub
ssh-keygen -t rsa -b 4096

3. 用ssh-copy-id配置到另外两台服务器和本机, 执行后需要输入服务器密码
ssh-copy-id -i /root/.ssh/id_rsa.pub root@sla147 
ssh-copy-id -i /root/.ssh/id_rsa.pub root@sla148
ssh-copy-id -i /root/.ssh/id_rsa.pub root@sla149

4. 此时可以用ssh免密登录服务器验证
ssh root@sla14x

安装java

下载对应版本java,以1.8.0_211为例,在147上进行以下操作(可暂不在148和149操作, 之后可scp传过去)

tar xzf jdk-8u211-linux-x64.tar.gz
mv jdk1.8.0_211/ /usr/local/
rm -f jdk-8u211-linux-x64.tar.gz

# 环境变量
echo 'export JAVA_HOME=/usr/local/jdk1.8.0_211' >> /etc/profile
echo 'export CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar' >> /etc/profile
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile

source /etc/profile

安装Hdfs

在147上进行一下操作

1. 下载 hadoop -2.7.2 , 注意和hbase版本对应
tar xzf hadoop-2.7.2.tar.gz
mv hadoop-
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值