hadoop配置文件及常用配置

在安装完hadoop后，配置文件保存在etc/hadoop/下，通常需要我们做修改。
- core-site.xml 全局配置
- hadoop-site.xml
- yarn-site.xml
- mapred-site.xml
可以参看hadoop文档下的默认配置修改

常用的修改如下：

core-site.xml

1. namenode RPC 端口，域名设置(..*=hostname)

        <property>
        <name>fs.defaultFS</name>
        <value>hdfs://***.***.***:8020</value>
        </property>

1. 默认临时目录设置，默认为/tmp/hadoop-${user.name}

    <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/datas/tmp</value>
    </property>

1. HDFS WEB UI显示的用户名，默认为df.who

    <property>
      <name>hadoop.http.staticuser.user</name>
      <value>lufy</value>
    </property>

hdfs-site.xml

1. 文件复制的副本数，默认为3

    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

• 权限控制

<property>
  <name>dfs.permissions.enabled</name>
  <value>false</value>
</property>

yarn-site.xml

• 主机名

    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>***.***.com</value>
    </property>

• 增加应用服务

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

• 日志聚集，默认false, -1

 <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>

  <property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>100086</value>
  </property> 

编辑slaves

hadoop.beifeng.com

编辑mapred-site.xml

    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

格式化文件系统

$ bin/hadoop namenode -format

启动守护进程

ssh无法连接slave节点。 需要配置ssh
- namenode,datanode

-resourcemanger, nodemanager

进入WEBUI界面

http://..com:8088/cluster

http://www.cnblogs.com/ggjucheng/archive/2012/04/17/2454590.html