大数据集群:hadoop3.3.6,spark,hbase,zookeeper

最新推荐文章于 2024-09-15 11:20:48 发布

原创

最新推荐文章于 2024-09-15 11:20:48 发布 · 1.8k 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #spark #hbase

本文详细介绍了如何在阿里云环境中搭建包括Hadoop3.3.6、Spark3.3.3、HBase2.5.5和Zookeeper3.7.1在内的大数据集群，涉及服务器配置、Java、Scala环境安装、SSH密钥对配置、Hadoop配置文件详解以及MongoDB集群的链接。

最近工作需要使用大数据集群，所有搭建了一套大数据集群：hadoop3.3.6，spark-3.3.3-bin-hadoop3，hbase-2.5.5-hadoop3-bin，apache-zookeeper-3.7.1-bin.tar.gz和mongo集群，下面详细编写步骤：

准备三台阿里云服务器

设置修改hosts

# 所有节点都修改 hosts
vim /etc/hosts
192.168.1.117 node0
192.168.1.118 node1
192.168.1.120 node2

1、安装jdk

下载Linux版本jdk

tar -zxvf jdk-8u351-linux-x64.tar.gz -C /usr/local
vim /etc/profile  
export JAVA_HOME=/usr/local/jdk1.8.0_351
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool.jar
wq!
source /etc/profile
java -version  
出现下面情况就是安装好Java环境

在这里插入图片描述

2、安装scala

下载scala

tar -zxvf scala-2.13.10.tgz -C /usr/local

export SCALA_HOME=/usr/local/scala-2.13.10
export PATH=$SCALA_HOME/bin:$PATH
 
wq!
source /etc/profile
scala

在这里插入图片描述

3、新建用户

user add hadoop
passwd hadoop

4、切换到hadoop用户，配置免密

每台机器：
（1）ssh-keygen 然后四个回车
（2）ssh-copy-id 复制到另外2台

5、安装hadoop

NameNode 和 SecondaryNameNode 不要安装在同一台服务器
ResourceManager 也很消耗内存，不要和 NameNode、SecondaryNameNode 配置在
同一台机器上。

hadoop解压到 /data/hadoop-3.3.6
配置：修改 /data/hadoop-3.3.6/etc/hadoop 目录中的几个配置文件
hadoop-env.sh、yarn-env.sh文件
改动一处，设置JAVA_HOME路径

export JAVA_HOME=/usr/local/jdk1.8.0_351

core-site.xml 文件

<configurat

最低0.47元/天解锁文章