如何正确的配置hadoop3.0.3 伪分布式(YARN)

本文档详述了一步一步配置Hadoop 3.0.3伪分布式环境的过程,包括系统配置、准备工作、配置路径、XML文件设置、SSH免密登录测试以及启动YARN的步骤。特别指出,官方文档存在错误,并提醒读者要注意配置细节以避免常见问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

我的系统配置:

Ubuntu 18.04
java:jdk1.8.0 (java8)
hadoop version: 3.0.3

准备工作

  1. 下载,安装好hadoop。
    国内的话去镜像源列表找找看http://www.apache.org/mirrors/
    注意要下载binary release,也就是文件名不带src的
    给一个华科的镜像地址:http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-3.0.3/hadoop-3.0.3.tar.gz
    找个能记住的地方解压,最好把名字改成hadoop

  2. 安装java
    去官网找一下,注意对应自己的系统版本,最好装java8,高版本不太能支持spark,想了一下就放弃了

配置路径

关键的一步,博主认为新开一个用户是不必须的,于是把路径配置在了/etc/profile
打开 /etc/profile,首先配置java路径:

export JAVA_HOME={你安装java的根目录}

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JAVA_HOME/lib:$JRE_HOME/lib:$PATH

之后记得source /etc/profile。终端输入java -version

<think>好的,用户想知道如何在Hadoop中进行伪分布式配置并启用YARN。我需要根据提供的引用内容来构建回答。首先,我得回忆一下Hadoop伪分布式配置的基本步骤,再结合YARN配置。 首先,引用[2]提到了重命名Hadoop文件夹到/opt/hadoop,这可能是配置环境变量的一部分。引用[3]中的环境变量设置也很重要,需要设置HADOOP_HOME和PATH。然后,用户需要修改配置文件,比如core-site.xml、hdfs-site.xml、yarn-site.xml和mapred-site.xml,这些在引用[1]和[2]中都有提到。 接下来,我需要分步骤说明每个配置文件的修改内容。例如,core-site.xml需要设置fs.defaultFS为HDFS的地址,hdfs-site.xml设置副本数,yarn-site.xml配置YARN的资源管理和节点地址,mapred-site.xml指定使用YARN作为MapReduce框架。 然后,格式化HDFS和启动服务是关键步骤,引用[1]中提到了启动HDFS和MapReduce,这里可能需要具体命令,比如hdfs namenode -format,以及启动各个服务的命令。最后,验证部分需要用户检查YARN是否运行,可能通过jps命令查看NodeManager和ResourceManager进程。 需要注意的是,引用中的信息可能有些零散,需要整合成连贯的步骤。另外,确保所有配置文件的路径和内容正确,避免用户操作时出错。最后,相关问题部分需要生成与配置相关的问题,比如性能调优、常见错误处理等,这样用户能进一步深入学习。</think>### Hadoop伪分布式配置YARN启用教程 以下是基于Ubuntu系统的Hadoop伪分布式配置步骤,包含YARN资源管理模块的启用: --- #### **1. 环境准备** - 安装Java 8+并配置`JAVA_HOME` - 下载Hadoop 2.9.2至`/opt`目录,解压并重命名文件夹(引用[2]): ```bash sudo mv ./hadoop-2.9.2/ ./hadoop ``` - 配置环境变量(引用[3]): ```bash # 在~/.bashrc中添加 export HADOOP_HOME=/opt/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 执行`source ~/.bashrc`使配置生效。 --- #### **2. 修改Hadoop配置文件** 所有配置文件位于`$HADOOP_HOME/etc/hadoop/`目录: 1. **core-site.xml**(HDFS核心配置,引用[1]) ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` 2. **hdfs-site.xml**(HDFS存储配置) ```xml <configuration> <property> <name>dfs.replication</name> <value>1</value> <!-- 伪分布式副本数为1 --> </property> </configuration> ``` 3. **yarn-site.xml**(YARN资源配置,引用[1]) ```xml <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>localhost</value> </property> </configuration> ``` 4. **mapred-site.xml**(MapReduce配置,引用[1]) ```xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> <!-- 指定使用YARN --> </property> </configuration> ``` --- #### **3. 格式化HDFS并启动服务** 1. 格式化NameNode(首次安装时执行): ```bash hdfs namenode -format ``` 2. 启动HDFS: ```bash start-dfs.sh ``` 3. 启动YARN: ```bash start-yarn.sh ``` --- #### **4. 验证配置** 1. 检查进程是否正常: ```bash jps ``` 应包含以下关键进程: - `NameNode` - `DataNode` - `ResourceManager`(YARN主节点) - `NodeManager`(YARN工作节点) 2. 访问Web界面: - HDFS: `http://localhost:9870` - YARN: `http://localhost:8088` ---
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值