hadoop 配置文件

/core-site.xml   

****！！！以下单位MB

<property>                  //指定namenode的命名空间
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop01:9000</value>  
    </property>

<property>                           //这里是配置缓冲流的大小 ，，hadoop2.*  是4096    3.*是131072    hadoop3.*性能变好，不过更吃硬件性能 
        <name>io.file.buffer.size</name>
        <value>4096</value>
    </property>

/hdfs-site.xml

<!--配置块的副本数-->
<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>

<!--hdfs的块大小-->     //3.*  是268435456  
<property>
<name>dfs.blocksize</name>
<value>134217728</value>
</property>
<!--namenode的web ui监控端口-->
<property>
   <name>dfs.http.address</name>
   <value>hadoop01:50070</value>
</property>
<!--secondarynamenode的web ui监控端口-->
<property>
   <name>dfs.secondary.http.address</name>
   <value>hadoop02:50090</value>
</property>
<!--hdfs元数据存储目录-->
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoopdata/dfs/name</value>
</property>
<!--真正的数据内容(数据块)存储目录-->
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoopdata/dfs/data</value>
</property>
<!--文件系统检测目录-->
<property>
	<name>fs.checkpoint.dir</name>
	<value>/home/hadoopdata/checkpoint/dfs/fsimgname</value>
</property>
<!--edits的检测目录-->
<property>
	<name>fs.checkpoint.edits.dir</name>
	<value>/home/hadoopdata/checkpoint/dfs/editsname</value>
</property>
<!--是否开启文件系统权限-->
<property>
	<name>dfs.permissions</name>
	<value>false</value>
</property>
<!--是否启用rest api访问hdfs-->
<property>
<name>dfs.webhdfs.enabled</name>
<value>false</value>
</property>

yarn-site.xml

<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
<!--是否启用acl权限控制列表(默认false)-->
<property>
<name>yarn.acl.enable</name>
<value>false</value>
</property>
<!--是否开启聚合日志(默认不开启)-->
<property>
	<name>yarn.log-aggregation-enable</name>
	<value>false</value>
</property>
<!--RM所启动的主机-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
<!--RM内部通信地址-->
<property>
<name>yarn.resourcemanager.address</name>
<value>hadoop01:8032</value>
</property>
<!--RM中scheduler的内部通信地址-->
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hadoop01:8030</value>
</property>
<!--RM中resource-tracker的内部通信地址-->
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>hadoop01:8031</value>
</property>
<!--RM中admin的内部通信地址-->
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>hadoop01:8033</value>
</property>
<!--RM中web ui的监控地址-->
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>hadoop01:8088</value>
</property>

mapred-site.xml

<!--指定mapreduce运行框架名称为yarn-->
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>
<!--指定map端最大内存-->
<property>            //hadoop 3.*  是1536
  <name>mapreduce.map.memory.mb</name>
  <value>1024</value>
</property>
<!--指定reduce端最大内存-->
<property>              //hadoop3.* 是3072
  <name>mapreduce.reduce.memory.mb</name>
  <value>3072</value>
</property>

<!--指定历史服务的内部通信地址-->
<property>
  <name>mapreduce.jobhistory.address</name>
  <value>hadoop01:10020</value>
</property>
<!--指定历史服务的web ui监控地址-->
<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>hadoop01:19888</value>
</property>