hadoop伪分布式的安装

最新推荐文章于 2025-04-17 09:50:19 发布

原创最新推荐文章于 2025-04-17 09:50:19 发布 · 90 阅读

0 ·

CC 4.0 BY-SA版权

本文详细介绍如何解压Hadoop包并进行配置，包括修改六个关键配置文件：hadoop-env.sh、core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml和slaves。文中还提供了格式化文件系统、启动相关进程及验证步骤。

                    
                    解压缩hadoop.tar

tar -zxvf hadoop2.5.2.tar.gz -C /opt/install
修改配置文件 6个

HADOOP_HOME/etc/hadoop/…

2.1 hadoop-evn.sh

export JAVA_HOME=/usr/java/jdk1.7.0_80

2.2 core-site.xml

fs.default.name

hdfs://hadoop1.baizhiedu.com:8020

hadoop.tmp.dir

/opt/install/hadoop-2.5.2/data/tmp

2.3 hdfs-site.xml

dfs.replication

1

2.4 yarn-site.xml

yarn.nodemanager.aux-services

mapreduce_shuffle

2.5 mapred-site.xml

mapreduce.framework.name

yarn

2.6 slaves (datanode)

hadoop1.baizhiedu.com
格式化文件系统 hadoop_home

bin/hdfs namenode -format
启动hadoop相关进程

sbin/hadoop-daemon.sh start namenode

sbin/hadoop-daemon.sh start datanode

sbin/yarn-daemon.sh start resourcemanager

sbin/yarn-daemon.sh start nodemanager
验证

ps -ef | grep java