Hadoop完全分布式搭建，以及运行在完全分布式hadoop集群上的各组件的搭建(hive、zookeeper、hbase、spark、storm、flink）

已于 2022-04-13 20:31:48 修改
阅读量3.2k 收藏 8
点赞数
文章标签： 大数据
于 2022-04-09 14:09:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_52270259/article/details/124052176
版权

记录在优快云的第一篇文章，作为小白，希望各位大佬多多指教。该文章的Hadoop完全分布式集群搭建是我同其他两个小伙伴用三台电脑搭建的，记录了我们搭建过程以及遇到的问题。

文章目录

一、前期准备工作

1、系统环境

本集群搭建在Ubuntu16.04下进行，集群搭建均为三台机器，分别为一个主节点（master）与两个从节点（slave01，slave02）。
所用软件版本为jdk1.8.0_301，hadoop2.7.3，zookeeper3.4.5，hbase1.4.8，hive2.3.9，spark2.1.0，flink-1.9.1-bin-scala_2.11，storm1.2.2，eclipse-4.7.0。

2、三台机器互ping

为了区分三台机器，执行sudo vim /etc/hostname命令修改显示的主机名。master主机节点添加如下内容：master；同样slave01节点与slave02节点各自加上对应的主机名。配置完成后，重启虚拟机，重启后会看到机器名的变化。
三台机器要在同一局域网下，可以用ifconfig命令查看各自的IP地址，我们这里三台机器的IP地址分别为：

master（192.168.43.139）
slave01（192.168.43.55）
slave02（192.168.43.25）

用户名均为hadoop。首先修改三台机器的/etc/hosts文件，添加同样的配置：

127.0.0.1 localhost
192.168.43.239 master
192.168.43.55 slave01
192.168.43.56 slave02

接着通过ping命令测试三台机器的连通性。

例如在master节点上运行ping 192.168.43.55命令来测试能否连接到slave01。

3、配置ssh无密码登录本机和访问集群机器

三台机器运行 ssh localhost 命令测试能否连接到本机localhost，登录成功会显示上一次登录的时间。如果不能登录本地则要安装openssh-server,并生产ssh公钥：

sudo apt-get openssh-server
ssh-keygen -t rsa -P “”
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_key

在保证了三台机器都能连接到本地后，还需要master主机免密登录slave01和slave02主机，在master主机上执行以下命令，将master的id_rsa.pub传给两个slave主机：

scp ~/.ssh/id_rsa.pub hadoop@slave01:/home/hadoop/
scp ~/.ssh/id_rsa.pub hadoop@slave02:/home/hadoop/

然后分别在slave01,slave02上运行ls ~ 命令查看是否接收到id_rsa.pub。
确认接受到后，在slave01,slave02主机上执行如下命令：

cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
rm ~/id_rsa.pub

之后让master主机免密登录slave01,slave02主机：

ssh slave01
ssh slave02

注意：第一次免密登录需要slave节点密码，之后就不需要了；在执行ssh slave02的时候记得先退出已登录的slave01主机。

4、遇到的问题及解决办法

（1） 由于各节点使用的是虚拟机安装的Linux系统，需要更改网络连接方式为桥接网卡模式，才能实现多个节点互连。然而在设置桥接网络的时候，虚拟机就连不上网，查阅资料之后，在VMware的虚拟网络编辑器中还原默认设置，重启之后就能连接上网络了。
（2） 主机与节点连接的过程中，报了detination host unreachabled的错误，显示连接不上主机，不知道具体是什么原因，然后我们用了同一个热点之后，就成功连接上了。

二、Hadoop分布式集群搭建

1、安装JDK

分别在三台机子上安装jdk，安装成功后编辑~/.bashrc文件，添加如下内容：
在这里插入图片描述执行source ~/.bashrc命令让环境变量立即生效

2、安装Hadoop

直接在master主机上安装hadoop，配置完好后将hadoop发给两个从节点。把下载后的hadoop安装包解压到/usr/local目录下：

sudo tar -zxvf ./hadoop-2.7.3.tar.gz -C /usr/local   #需要进入到hadoop安装包所在目录
cd /usr/local
sudo mv hadoop-2.7.3 hadoop  #修改文件名
sudo chown -R hadoop ./hadoop  #赋予文件权限

编辑~/.bashrc 文件，添加如下内容：
在这里插入图片描述执行source ~/.bashrc 让环境变量生效。

3、Hadoop集群配置

（1）修改master主机的slaves文件，位于/usr/local/hadoop/etc/hadoop文件下，写入如下内容，每行一个

slave01
slave02

（2）修改core-site.xml文件
在这里插入图片描述
（3）修改hdfs-site.xml文件
在这里插入图片描述
（4）修改mapre-site.xml文件（先把mapred-site.xml.template复制，再修改文件名）
在这里插入图片描述
（5）修改yarn-site.xml文件
在这里插入图片描述
配置好后将master上的/usr/local/hadoop文件传送到其他两个节点上，由于文件比较大最好先压缩再传送:

tar -zcf ~/hadoop.master.tar.gz ./hadoop
cd ~
scp ./Hadoop.master.tar.gz slave01:/home/Hadoop
scp ./Hadoop.master.tar.gz slave01:/home/hadoop

传送完成后在slave01，slave02上执行:

sudo tar -zxvf ~/hadoop.master.tar.gz -C /usr/local
cudo chown -R hadoop /usr/local/Hadoop

（6）启动hadoop集群
在master主机上执行：

cd /usr/local/Hadoop
bin/hdfs namenode -format
sbin/start-all.sh

运行成功后，分别在三台机子上输入jps命令，可看到：
master节点：
在这里插入图片描述
两个slave节点：
在这里插入图片描述

4、遇到的问题及解决办法

master运行结果有DataNode，反而没有NameNode：
在这里插入图片描述
原因：存在DataNode是因为在修改slaves文件时，没有把里面的localhost删掉，没有NameNode是一开始配置hdfs-site.xml文件时没有加入下列内容：

在这里插入图片描述

三、Zookeeper完全分布式安装

1、安装zookeeper

在master主机上安装zookeper,配置好后复制给其他节点

sudo tar -zxvf ./zookeeper-3.4.5.tar.gz -C /usr/local
cd /usr/local
mv zookeeper-3.4.5 zookeeper
sudo chown -R hadoop ./zookeeper

2、配置环境

vim ~/.bashrc

在这里插入图片描述
输入source ~/.bashrc命令使环境变量生效
创建data文件目录:

mkdir -p /usr/local/zookeeper/zkData

进入/usr/localzookeeper/conf目录下修改配置文件:

cp zoo-sample.cfg zoo.cfg
vim zoo.cfg

添加如下配置:
在这里插入图片描述

3、设置当前zookeeper的权值

进入到/zkDate目录下创建文件myid：

cd /usr/local/zookeeper/zkData
vim myid

master写入权值1 ，此1对应的是server.1中的1，每台机器的myid的值对应server.后面的数字
将master主机上的zookeeper复制给其他两个节点:

cd /usr/local
sudo tar -zcf ./zookeeper.tar.gz ./zookeeper
scp ./zookeeper.tar.gz hadoop@slave01:/usr/local
scp ./zookeeper.tar.gz hadoop@slave02:/usr/local

复制完成后，slave01与slave02解压压缩包，Slave01与slave02修改myid文件，Slave01写入2，slave02写入3

4、启动zookeeper

每台机子都要启动：

cd /usr/local/zookeeper
./bin/zkServer.sh start

输入jps后，master与slave节点都出现了QuorumPeerMain进程：
在这里插入图片描述
在这里插入图片描述

5、遇到的问题及解决办法

使用scp命令时，遇到了无法传输的问题，我们首先是把sshd_config文件中的PermitRootLogin后面的no改为yes，然后重启ssh服务。
但是改完之后还有权限错误，后来发现是因为一开始没有将hadoop用户授权给zookeeper，最后使用了chown命令授权，再传输文件，成功传送。

四、HBase完全分布式安装

1、安装HBase

（1）解压授权

sudo tar -zxvf ./hbase-1.4.8-bin.tar.gz -C /usr/local
cd /usr/local
mv hbase-1.4.8-bin hbase
sudo chown -R hadoop ./hbase

（2）配置环境变量

vim ~/.bashrc：

在这里插入图片描述
source ~/.bashrc 使环境变量立即生效

2、修改配置文件

cd /usr/local/hbase/conf

配置regionservers,并加入两个从节点的主机名:

vim regionservers
slave01
slave02

修改hbase-site.xml文件
在这里插入图片描述
拷贝hdfs-site.xml,core-site.xml到hbase的conf目录下

cp /usr/local/hadoop/etc/hadoop/hdfs-site.xml /usr/local/hbase/conf
cp /usr/local/hadoop/etc/hadoop/core-site.xml /usr/local/hbase/conf

将hbase复制给从节点

cd /usr/local
sudo tar -zcf ./hbase.tar.gz ./hbase
scp -r ./hbase.tar.gz hadoop@slave01:/usr/local
scp -r ./hbase.tar.gz hadoop@slave02:/usr/local

3、启动hbase集群

要先启动hadoop与zookeeper
在master上启动hbase

cd /usr/local/hbase
./bin/start-hbase.sh

启动成功后可以看到master节点上多了HMaster进程:
在这里插入图片描述
Slave01，slave02节点上多了HRegionServer进程:
在这里插入图片描述

五、Hive完全分布式安装

1、三个节点上安装MySQL、创建元数据库

sudo apt-get update
sudo apt-get install mysql-server

启动mysql服务器

server mysql start

进入mysql界面创建hive数据库

mysql -u root -p
mysql>create database hive

配置mysql允许hive接入
master节点配置：

mysql>grant all on “.” To hive@localhost identified by ‘hive’;
mysql>flush privileges;

slave节点配置：

mysql>grant all on “.” To hive@slave01(slave02) identified by ‘hive’;
mysql>flush privileges;

2、master节点上安装hive

（1）解压安装包到/usr/local目录下

sudo tar -zxvf ./apache-hive-2.3.9-bin.tar.gz -C /usr/local
cd /usr/local
sudo mv apache-hive-2.3.9-bin hive
sudo chown -R hadoop ./hive

（2）配置环境变量

vim ~/.bashrc

在这里插入图片描述
source ~/.bashrc 使环境变量生效
（3）在hive目录下创建iotmp目录

mkdir iotmp

（4）修改配置文件hive-site.xml文件

cd /usr/local/hive
cp hive-default.xml.template hive-site.xml
vim hive-site.xml

添加如下内容:
在这里插入图片描述

将所有的${system:java.io.tmpdir}替换成/usr/local/hive/iotmp，最好修改，防止出错。

（5）修改hive-env.sh文件，添加如下内容：
在这里插入图片描述
（6）将mysql的jar包拷贝到hive的lib目录下
这里用的是mysql-connector-java-5.1.40

cp mysql-connector-java-5.1.40/mysql-connector-java-5.1.40-bin.jar /usr/local/hive/lib

（7）将hive目录复制给从节点

cd /usr/local
scp -r ./hive hadoop@slave01:/usr/local
scp -r ./hive hadoop@slave02:/usr/local

（8）复制完成后配置从节点的文件
从节点修改hive-site.xml文件

<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
</property>

localhost改为对应的主机名

3、启动hive集群

三台机子都要启动
主机启动前先初始化元数据

cd /usr/local/hive
./bin/schematool -dbType mysql -initSchema

初始化成功后启动hive

./bin/hive

启动成功后有RunJar进程

hive>show databases;

4、遇到的问题及解决办法

（1）master启动成功但是执行命令时报错

ERROR exec.DDLTask: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient

最后，修改conf/hive-site.xml中的“hive.metastore.schema.verification”的值改为false，即可以执行hive命令。
（2）master节点hive启动成功，而slave01与slave02节点均启动失败，输入show databases命令后报错提示未初始化；
（3）master节点初始化又报错
原因：之前初始化过了，不能反复初始化。
解决方法：删除MySQL中创建的hive数据库，再重新创建，之后初始化元数据再启动hive，master与slave节点均可启动和执行命令。

总结：在启动hive之前要先初始化元数据，之后master与slave节点再开启，顺序不能颠倒。

六、Spark完全分布式安装

1、安装Spark

(1)解压安装包

sudo tar -zxvf ./spark-2.1.0-bin-without-hadoop.tgz -C /usr/local
cd /usr/local
mv spark-2.1.0-bin-without-hadoop spark
sudo chown -R hadoop ./spark

2、配置文件

cd /usr/local/spark/conf    #进入conf文件
cp spark-env.sh.template spark-env.sh  #复制spark-env.sh.template并改名为spark-env.sh
cp slaves.template slaves

(1)修改

spark-env.sh

在这里插入图片描述
(2)修改slaves文件
在这里插入图片描述
(3)将安装包复制给其他文件

scp -r /usr/local/spark hadoop@slave01:/usr/local
scp -r /usr/local/spark hadoop@slave02:/usr/local

3、启动spark集群

在master上启动

cd /usr/local/spark
./sbin/start-all.sh

启动成功后可看到master节点多了Master进程，slave01与slave02节点多了Worker进程：
在这里插入图片描述
在这里插入图片描述
启动spark-shell
三个节点分别进入bin目录

cd /usr/local/spark/bin
./spark-shell

启动成功后截图：
在这里插入图片描述

七、Flink完全分布式安装

1、安装Flink

sudo tar -zxvf ./flink-1.9.1-bin-scala_2.11.tgz -C /usr/local
cd /usr/local
mv flink-1.9.1 flink
sudo chown -R hadoop ./flink

2、在master节点上配置flink

进入conf目录，编辑flink-conf.yaml文件

cd /usr/local/flink/conf
vim flink-conf.yaml

编辑如下内容(注意，冒号后面一定要有一个空格)
在这里插入图片描述
配置好后flink复制给其他节点

scp -r /usr/local/flink hadoop@slave01:/usr/local
scp -r /usr/local/flink hadoop@slave02:/usr/local

3、配置slave节点信息

cd /usr/local/flink/conf
vim slaves

每台机器添加从节点的主机名或IP(把原本的localhost删掉)

slave01添加slave01
slave02添加slave02

4、启动flink集群

在master节点上启动flink

cd /usr/local/flink
./bin/start-cluster.sh

启动成功后可看到master节点:
在这里插入图片描述
slave节点:
在这里插入图片描述

八、Storm完全分布式安装

1、安装Storm

解压压缩包

sudo tar -zxvf ./apache-storm-1.2.2.tar.gz -C /usr/local
cd /usr/local
mv storm-1.2.2 storm
sudo chown -R hadoop ./storm

2、配置环境变量

（1）vim ~/.bashrc
在这里插入图片描述
（2）进入conf目录修改storm.yaml文件

cd /usr/local/storm/conf
vim storm.yaml

编辑如下内容:
在这里插入图片描述
（3）分发到其他节点

scp -r /usr/local/storm hadoop@slave01:/usr/local
scp -r /usr/local/storm hadoop@slave02:/usr/local

3、启动storm

启动前要先启动hadoop与zookeeper集群
（1）在master启动nimbus、supervisor、core、logviewer进程

cd /usr/local/storm
./bin/storm nimbus &
./bin/storm supervisor &
./bin/storm ui &
./bin/storm logviewer

在这里插入图片描述
在这里插入图片描述
启动成功截图：
在这里插入图片描述
（2）在从节点上启动supervisor、logviewer进程

cd /usr/local/storm
./bin/storm supervisor &
./bin/storm logviewer &

在这里插入图片描述

阡芊
关注
Hadoop, MapReduce,Hive, HBase, Storm, Spark, Flink, Kylin等大数据框架的角色和关系
flywind800的博客
01-17 1万+
  各种大数据框架近几年发展得如火如荼，比如Hadoop, MapReduce,Hive, Hbase, Storm, Spark, Flink, Kylin 等，各个框架的角色是怎么样的？如何配合起来使用？本文将从时间顺序上逐个说明。 首先要介绍一下Hadoop，现在Hadoop分为3部分，分别是HDFS，Yarn和Mrv2 近几年大数据潮流的推进，是需求和技术相互促进的结果，对大数据需求...
Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive 完全分布式高可用集群搭建(保姆级超详细含图文)
热门推荐
Mr.L-OAM的博客
07-05 2万+
Hadoop+Spark+Flink+Zookeeper+Kafka+Hbase+Hive完全分布式高可用集群搭建 Hadoop高可用集群搭建 Spark高可用集群搭建 Flink高可用集群搭建 Zookeeper高可用集群搭建 Kafka高可用集群搭建 Hbase高可用集群搭建 Hive高可用集群搭建 mysql搭建 jdk部署 大数据集群环境搭建
Hadoop完全分布式搭建以及部分组件部署
morning的博客
08-12 214
1.Hadoop完全分布式搭建 把所有需要的安装包通过xftp上传到虚拟机的指定目录存放 tar -zxvf jdk… -C /usr vi /etc/profile 配置环境变量 export JAVA_HOME=/usr/project/jdk1.8.0_171 export CLASSPATH=.:JAVAHOME/libJAVA_HOME/libJAVAH​OME/libJAVA_HOME/jre/lib:CLASSPATHPATH=CLASSPATH PATH=CLASSPATHPATH=JAVA
大数据平台安装实验: ZooKeeper、Kafka、Hadoop、Hbase、Hive、Scala、Spark、Storm
zyw2002的博客
03-26 3287
文章目录实验1：Hadoop大数据平台安装实验1. 实验目的2. 实验环境3. 实验过程3.1 虚拟机的搭建3.1.1 安装虚拟机3.1.2 基本linux命令3.2 准备工作3.2.1 关闭Selinux3.2.2 安装软件3.3.3 检查网卡是否开机自启3.3.4 修改hosts3.3.5 检查网络是否正常3.3.6 新建hadoop用户3.3.7生成ssh密钥并分发3.3.8 安装NTP服务3.3 安装MySQL3.3.1 安装3.3.2 测试3.4 安装JDK3.4.1 安装3.4.2 测试3.5
Hadoop完全分布式
weixin_42529806的博客
01-09 1070
文章目录Hadoop完全分布式搭建Hadoop原理介绍搭建背景说明VMware虚拟机的安装使用虚拟机准备组件准备开始搭建hadoop分布式集群安装jdk和hadoop Hadoop完全分布式搭建 Hadoop原理介绍 查看我的另一篇文章：https://blog.csdn.net/weixin_42529806/article/details/84026873 搭建背景说明 用于学习大数据使用 ...
Hadoop Hive HBase Spark Storm概念解释
珺珺去哪儿
03-29 5769
HadoopHadoop是什么？ 答：一个分布式系统基础架构。Hadoop解决了什么问题？ 答：解决了大数据（大到一台计算机无法进行存储，一台计算机无法在要求的时间内进行处理）的可靠存储(HDFS)和处理(MapReduce)。HiveHive是什么？ 答：Hive是建立在Hadoop之上的，使用Hadoop作为底层存储的批处理系统。（可以理解为MapReduce的一层壳）Hive解决了什么问
Docker本地搭建Hadoop高可用,Hbase,Spark,Flink,Zookeeper集群_基于docker容器,搭建hadoop+spark+hive+hbase+zookeeper sca
最新发布
2301_82243558的博客
04-29 1237
links: # 连接本compose文件创建的container。external_links: # 连接本compose文件以外的container。external_links: # 连接本compose文件以外的container。external_links: # 连接本compose文件以外的container。- “9091:9092” # 将容器的9092端口映射到宿主机的9091端口上。container_name: master # 节点名称。
Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署
06-22
在大数据领域，构建一个完整的生态系统是至关重要的，其中包括多个组件，如Hadoop、Spark、Hive、HBase、Oozie、Kafka、Flume、Flink、Elasticsearch和Redash。这些组件协同工作，提供了数据存储、处理、调度、流...
Centos7搭建Hadoop HA完全分布式集群（6台机器）（内含hbase，hive，flume，kafka，spark，sqoop，phoenix，storm）
Mr.Cao
01-30 2874
目录 Centos7搭建Hadoop HA完全分布式集群（6台机器）（内含hbase，hive，flume，kafka，spark，sqoop，phoenix，storm）. 1 前期配置. 2 安装jdk 5 安装zookeeper 7 安装hadoop 8 启动集群. 17 安装hbase 21 安装hive 27 安装Flume 34 安装kafka 37 安装spar...
Hadoop环境搭建之完全分布式运行模式
a1786742005的博客
01-30 1819
一、hadoop完全分布式运行模式介绍 Hadoop的守护进程运行在由多台主机搭建的集群上，是真正的生产环境，只有分布式多台服务器运行，才满足大数据算力的要求。 在所有的主机上安装JDK和Hadoop，配置SSH组成相互连通的网络，集群之间才可以网络通信，实现分布式计算。 二、hadoop完全分布式运行环境搭建 这里用vmare虚拟三台centos的虚拟机进行完全分布式运行环境的搭建。 2.1 在...
hadoop、hbase、hive、spark分布式系统架构详细搭建过程
雨花石
03-20 2138
参考文档：http://www.shareditor.com/blogshow/?blogId=96，在这里表示感谢！以下内容用到的测试软件版本及下载地址：操作系统：Centos 6.9 Hadoop2.7.5 下载地址：http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.5/hadoop-2.7.5.tar.gzHbase1.2.3 ...
三台CentOS7.6虚拟机搭建Hadoop完全分布式集群（二）
小孔靠得住的博客
12-30 1328
这个是笔者大学时期的大数据课程使用三台CentOS7.6虚拟机搭建完全分布式集群的案例，已成功搭建完全分布式集群，并测试跑实例。
Hadoop安装（二）---完全分布式模式（集群模式）
weixin_45944880的博客
11-17 1781
Hadoop安装（二）---完全分布式模式
Hadoop的完全分布式运行模式
NFstriving的博客
03-02 1027
Hadoop运行模式包括：本地模式、伪分布式模式，以及完全分布式模式。 1、本地模式 安装简单，在一台机器上运行服务，几乎不用做任何配置，但仅限于调试用途。没有分布式文件系统，直接读写本地操作系统的文件系统。 2、伪分布式模式 在单节点上同时启动namenode、datanode、jobtracker、tasktracker、secondary namenode等进程，模拟分布式运行的各个节点。配置已经很接近完全分布式。 3、完全分布式模式 正常的Hadoop集群，由多个各司其职的节点构成。 完全分布式.
hadoop集群及HBase+ZooKeeper+Hive完全分布式集群部署安装
sunbin11220904的博客
06-28 611
这里说复制虚拟机 ： vi /hadoop/hdfs-site.xml vi etc/hadoop/slaves : hadoop04 hadoop05 hadoop06 在传到其他两个 格式化HDFS hadoop namenode -format 启动hadoop start-all.sh（jps查看进程） 安装ZooKeeper 修改zookeepr/conf/zoo.cfg）（修改完后改名） 配置里面的server是zookeeper服务器的主机名。 # The number of
Linux 虚拟机：大数据集群基础环境搭建（Hadoop、Spark、Flink、Hive、Zookeeper、Kafka、Nginx）
AcWare 学习笔记
02-06 5951
基本信息：Centos-7.9、Java-1.8、Python-3.9、Scala-2.12、Hadoop-3.2.1、Spark-3.1.2、Flink-1.13.1、Hive-3.1.3、Zookeeper-3.8.0、Kafka-3.2.0、Nginx-1.23.1 目录一、相关文件下载地址二、虚拟机基础配置三、语言环境安装1. Java 环境安装2. Python 环境安装3. Scala 环境安装四、大数据组件安装1. Hadoop 集群安装2. MySQL 安装3. Spark 安装4. F
一篇文章搞定大数据安装（Hadoop、zookeeper、Spark、HBase、Hive）———附带详细步
韩江雪de 小屋
07-06 3888
文章目录2 配置Hadoop2.1 配置免密登录2.1.1 生成密匙2.1.2 免密登录2.1.3 验证免密登录2.2 集群搭建2.2.1 下载并解压2.2.2 配置环境变量2.2.3 修改配置1. hadoop-env.sh2. core-site.xml3. hdfs-site.xml4. yarn-site.xml5. mapred-site.xml6. slaves2.3 初始化2.4 启动集群2.5 查看集群2.6 安装包 2 配置Hadoop 这里搭建一个 3 节点的 Hadoop 集群，其中
hadoop3.1.4 spark hive hbase flink集成环境搭建
09-18
要搭建hadoop3.1.4、spark、hive、hbase和flink集成环境，可以按照以下步骤进行： 1. 首先，从官网下载并安装hadoop3.1.4版本。解压缩并配置hadoop的环境变量，包括JAVA_HOME、HADOOP_HOME、HADOOP_CONF_DIR等。 2. 接下来，下载并安装Apache Spark。解压缩后，设置SPARK_HOME环境变量，并在spark-defaults.conf文件中配置hadoop相关的路径，如hadoop.home.dir和spark.yarn.stagingDir等。 3. 下载并安装Apache Hive。解压缩后，设置HIVE_HOME环境变量，并在hive-site.xml文件中配置hadoop相关的路径，如hadoop.home.dir和hive.metastore.warehouse.dir等。 4. 下载并安装Apache HBase。解压缩后，设置HBASE_HOME环境变量，并在hbase-site.xml文件中配置hbase.rootdir和hbase.zookeeper.quorum等相关参数。 5. 最后，下载并安装Apache Flink。解压缩后，设置FLINK_HOME环境变量，并在flink-conf.yaml文件中配置hadoop相关的路径，如fs.defaultFS和yarn.resourcemanager.address等。 完成上述步骤后，可以启动hadoop、spark、hive、hbase和flink的相关服务，并确保它们能够相互通信和集成。可以通过运行相应的启动脚本，如start-dfs.sh、start-yarn.sh、start-master.sh和start-worker.sh来启动相关服务。 总结：以上就是搭建hadoop3.1.4、spark、hive、hbase和flink集成环境的基本步骤。通过配置各自的环境变量和相关配置文件，并启动相应的服务，即可实现它们之间的集成和通信。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值