Hadoop伪分布环境配置

qq_42951424

于 2019-09-24 20:40:26 发布

阅读量166

点赞数

分类专栏： hadoop伪分布环境文章标签：笔记

本文链接：https://blog.youkuaiyun.com/qq_42951424/article/details/101311115

版权

hadoop伪分布环境专栏收录该内容

1 篇文章

订阅专栏

本文详细介绍了如何配置Hadoop伪分布环境，包括设置NameNode地址、存储目录、Reducer数据获取方式、ResourceManager地址等关键步骤，以及JAVA_HOME环境变量和MR运行模式的配置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Hadoop伪分布环境配置

文件一

（）配置：core-site.xml
<!-- 指定HDFS中NameNode的地址 -->
<property>
	<name>fs.defaultFS</name>
    <value>hdfs://hadoop1:9000</value>
</property>




<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

文件二

（b）配置yarn-site.xml
<!-- reducer获取数据的方式 -->
<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop101</value>
</property>
c）配置：mapred-env.sh      配置一下JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.7.0_79
		
（d）配置： (对mapred-site.xml.template重新命名为) mapred-site.xml
<!-- 指定mr运行在yarn上 -->
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>