【工作笔记】- Yarn集群搭建

最新推荐文章于 2025-04-28 20:11:15 发布

原创

最新推荐文章于 2025-04-28 20:11:15 发布 · 934 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#流计算 #hadoop #大数据

以下步骤在三台机器上相同操作：

第一步，基础环境准备

1. 创建hadoop用户，设置密码

uaseradd hadoop

passwd hadoop

2. 下载hadoop

https://hadoop.apache.org/releases.html

我这里下载的是3.1.4版本

3. 上传、解压

tar -xvf hadoop-3.1.4.tar

4. 修改/etc/hosts

   172.30.251.225 node1

  172.30.251.226 node2

  172.30.251.227 node3

5.修改/etc/profile，增加以下配置

#Hadoop 3.1.4
export HADOOP_PREFIX=/home/hadoop/hadoop-3.1.4
export PATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin

export HADOOP_COMMON_HOME=$HADOOP_PREFIX 
export HADOOP_HDFS_HOME=$HADOOP_PREFIX 
export HADOOP_MAPRED_HOME=$HADOOP_PREFIX
export HADOOP_YARN_HOME=$HADOOP_PREFIX 

export HADOOP_INSTALL=$HADOOP_PREFIX
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_PREFIX/lib/native 
export HADOOP_CONF_DIR=