如何正确的配置hadoop3.0.3 伪分布式(YARN)

本文档详述了一步一步配置Hadoop 3.0.3伪分布式环境的过程,包括系统配置、准备工作、配置路径、XML文件设置、SSH免密登录测试以及启动YARN的步骤。特别指出,官方文档存在错误,并提醒读者要注意配置细节以避免常见问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

我的系统配置:

Ubuntu 18.04
java:jdk1.8.0 (java8)
hadoop version: 3.0.3

准备工作

  1. 下载,安装好hadoop。
    国内的话去镜像源列表找找看http://www.apache.org/mirrors/
    注意要下载binary release,也就是文件名不带src的
    给一个华科的镜像地址:http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-3.0.3/hadoop-3.0.3.tar.gz
    找个能记住的地方解压,最好把名字改成hadoop

  2. 安装java
    去官网找一下,注意对应自己的系统版本,最好装java8,高版本不太能支持spark,想了一下就放弃了

配置路径

关键的一步,博主认为新开一个用户是不必须的,于是把路径配置在了/etc/profile
打开 /etc/profile,首先配置java路径:

export JAVA_HOME={你安装java的根目录}

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JAVA_HOME/lib:$JRE_HOME/lib:$PATH

之后记得source /etc/profile。终端输入java -version

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值