hadoop配置文件配置

关注

原创最新推荐文章于 2025-12-14 19:16:03 发布 1k 阅读 AI 写同款· GEO 优化 ›

HDFS完全分布式集群搭建与配置及常见问题总结（上）本篇描述关于HDFS完全分布式集群的搭建与配置相关步骤，还有一些常见问题，供大家参考。阅读详情

2、修改core-site.xml，在之间添加：

<property>
   <name>fs.defaultFS</name>
   <value>hdfs://Master:9000</value>
</property>
<property>
   <name>hadoop.tmp.dir</name>
   <value>file:/usr/local/hadoop-2.6.0/tmp</value>
   <description>Abase for other temporary directories.</description>
</property>

注：第二个配置项可能有问题，这是设置hadoop的数据存储路径，上面是将路径设置的为本地，还有下面是将路径设置的为hdfs上。暂时还不清楚哪个配置才是合理的。若是选择上面那种配置方式，则在hadoop目录下创建tmp文件夹并对其授hadoop权限

<property>
    <name>hadoop.tmp.dir</name>
    <value>hdfs://localhost/usr/local/hadoop/</value>
    <description>Abase for other temporary directories.</description>
</property>

3、修改hdfs-site.xml，在之间添加：

<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>Master:50090</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/usr/local/hadoop-2.6.0/tmp/dfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/usr/local/hadoop-2.6.0/tmp/dfs/data</value>
</property>
<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>

注：虽然配置项里有tmp及其子目录，但是安装时不能在hadoop-2.6.0下实际地创建该tmp目录及其子目录。
4、修改mapred-site.xml，在之间添加：

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.map.java.opts</name>
<value>-Xmx1000m</value>
</property>

5、修改yarn-site.xml，在之间添加：

<property>
<name>mapreduce.reduce.java.opts</name>
  <value>-Xmx1000m</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>Master</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

收录于