如何正确的配置hadoop3.0.3 伪分布式（YARN）

最新推荐文章于 2025-06-02 09:02:14 发布

原创

最新推荐文章于 2025-06-02 09:02:14 发布 · 1.7k 阅读

9 ·

CC 4.0 BY-SA版权

本文档详述了一步一步配置Hadoop 3.0.3伪分布式环境的过程，包括系统配置、准备工作、配置路径、XML文件设置、SSH免密登录测试以及启动YARN的步骤。特别指出，官方文档存在错误，并提醒读者要注意配置细节以避免常见问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

我的系统配置：

Ubuntu 18.04
java：jdk1.8.0 （java8）
hadoop version： 3.0.3

准备工作

下载，安装好hadoop。
国内的话去镜像源列表找找看http://www.apache.org/mirrors/
注意要下载binary release，也就是文件名不带src的
给一个华科的镜像地址：http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-3.0.3/hadoop-3.0.3.tar.gz
找个能记住的地方解压，最好把名字改成hadoop
安装java
去官网找一下，注意对应自己的系统版本，最好装java8，高版本不太能支持spark，想了一下就放弃了

配置路径

关键的一步，博主认为新开一个用户是不必须的，于是把路径配置在了/etc/profile
打开 /etc/profile,首先配置java路径：

export JAVA_HOME={你安装java的根目录}

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JAVA_HOME/lib:$JRE_HOME/lib:$PATH

之后记得source /etc/profile。终端输入java -version