hadoop四大金刚配置文件

最新推荐文章于 2023-09-24 15:40:28 发布

原创最新推荐文章于 2023-09-24 15:40:28 发布 · 978 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #mapreduce #hdfs

本文档展示了配置Hadoop HDFS、MapReduce和YARN集群的关键参数。在`core-site.xml`中设置了默认文件系统为'hdfs://master01:9000'和临时目录'/home/hadoop/tmp'。`hdfs-site.xml`定义了NameNode和DataNode的数据目录以及副本数。`mapred-site.xml`指定了MapReduce运行在YARN上，并配置了JobHistory服务器地址。最后，`yarn-site.xml`配置了NodeManager的aux服务、ResourceManager地址以及WebHDFS的启用状态。

core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master01:9000<alue>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/hadoop/tmp<alue>
        </property>
        <property>
                <name>io.file.buffer.size</name>
                <value>131702<alue>
        </property>
</configuration>

hdfs-site.xml

<configuration>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/home/hadoop/hdfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/home/hadoop/hdfs/data</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
        <property>
                <name>dfs.permissions.enabled</name>
                <value>false</value>
        </property>
        <property>
                <name>dfs.namnode.secondary.http-address</name>
                <value>master01:9001</value>
        </property>
        <property>
                <name>dfs.webhdfs.enabled</name>
                <value>true</value>
        </property>
</configuration>


mapre-site.xml

    <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
    </property>
    <property>
            <name>mapreduce.jobhistory.address</name>
            <value>master01:10020</value>
    </property>

```


yarn-site.xml

    <property>
            <name>yarn.nodenmanager.aux-services</name>
            <value>mapreduce_shuffle</value>
    </property>
    <property>
            <name>yarn.nodemanager.aux-service.mapreduce_shuffle.class</name>
            <value>org.apche.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
            <name>yarn.resourcemanager.address</name>
            <value>maser01:8032</value>
    </property>

```