hadoop2.7.1伪分布模式配置文件

最新推荐文章于 2025-03-18 14:42:51 发布

xiaosuanzaowb

最新推荐文章于 2025-03-18 14:42:51 发布

阅读量1.2k

点赞数

分类专栏： hadoop 文章标签： hadoop 配置文件日志

本文链接：https://blog.youkuaiyun.com/xiaosuanzaowb/article/details/48879037

版权

hadoop 专栏收录该内容

1 篇文章

订阅专栏

hadoop的安装就不再赘述，本文主要介绍etc目录下配置文件的设置。包括日志的配置。以下配置可以视情况做调整。

core-site.xml配置文件

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>

  <property>
    <name>hadoop.tmp.dir</name>
    <value>file:///usr/local/hadoop-2.7.1/tmp</value>
  </property>

</configuration>

hdfs-site.xml配置文件

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>

  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///usr/local/hadoop-2.7.1/hdfs/name</value>
  </property>

  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///usr/local/hadoop-2.7.1/hdfs/data</value>
  </property>

</configuration>

mapred-site.xml配置文件

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>

  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>localhost:10020</value>
  </property>

  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>localhost:19888</value>
  </property>

  <property>
    <name>yarn.app.mapreduce.am.staging-dir</name>
    <value>/mr-history</value>
  </property>

  <property>
    <name>mapreduce.jobhistory.done-dir</name>
    <value>${yarn.app.mapreduce.am.staging-dir}/done</value>
    <description>这是HDFS上的路径，根据配置文件系统会自动创建</description>
  </property>

  <property>
    <name>mapreduce.jobhistory.intermediate-done-dir</name>
    <value>${yarn.app.mapreduce.am.staging-dir}/tmp</value>
    <description>这是HDFS上的路径，根据配置文件系统会自动创建</description>
  </property>

</configuration>

yarn-site.xml配置文件

<configuration>

<!-- Site specific YARN configuration properties -->
 <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>

  <property>
    <name>yarn.log-aggregation-enable</name>    
    <value>true</value>
    <description>此项需要设置为true，否则追踪日志时无法显示日志</description>    
  </property>

</configuration>

如果以上配置做完，就可以启动集群。在hadoop安装目录下运行 sbin/start-all.sh命令启动集群。但是日志服务器默认没有开启需要手动启动 sbin/mr-jobhistory-daemon.sh start historyserver 。至此就可以运行自己的程序，程序运行结束后就可以通过8088端口看到job运行情况。如下图：
hadoop的运行日志
通过单击右下角Tracking UI下的History就可以链接到特定job去。如果无法打开文件，就需要更改linux文件系统下的/etc/hosts文件。更改前面的几行如下，将用户名也绑定到127.0.0.1即可。
127.0.0.1 localhost
127.0.0.1 wangbo