hadoop的配置文件

要想正常使用hadoop系统，主要是配置core-site.xml，hdfs-site.xml以及mapred-site.xml这几个配置文件，如果使用yarn框架的话，还需要配置yarn-site.xml。值得一提的是，这几个配置文件都有对应的xxx-env.xml，这些环境的配置文件需要正确的配置jdk的环境。

以下仅为我所使用，并且能在本地正常运行的配置：

core-site.xml的配置

<configuration>
    <property>
        #配置hdfs文件系统的位置和端口，这里使用的是本地
        #依据个人配置而定，使用hostname命令即可。
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:8020</value>
    </property>

    <property>
        #本地hdfs存放的位置
        <name>hadoop.tmp.dir</name>
        <value>/opt/modules/hadoop-2.5.0/data/temp</value>
    </property>
</configuration>

hdfs-site.xml的配置

<configuration>
    <property>
        #hdfs文件系统的个数，目前我就使用1个，如果不配置就使用默认值3
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

按照官方文档，配置到这里，就可以使用hadoop进行计算和数据分析。

下面介绍官方文档提供的伪分布式的配置：

yarn-site.xml的配置

<configuration>
    <property>
        #服务名称
        <name>yarn.nodemanager.aux-services</name>
        #mapreduce的核心服务
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        #nodemanager的主机名，现在使用的是本地
        <name>yarn.nodemanager.hostname</name>
        <value>localhost</value>
    </property>
</configuration>

mapred-site.xml的配置

<configuration>
    <property>
        #配置用于执行MapReduce的框架，默认是Localhost，现在配置在yarn框架上
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

官方文档对应的配置到这集全都配置完成，有了这些配置，我们就能实现一个伪分布式的hadoop集群，下一遍文章就让我们开始尝试一下吧~
窗户外面蓝天白天的，美好的一天 ￣︶￣