关于hadoop配置文件的注解

本文详细介绍了Hadoop配置文件的关键参数,包括yarn-site.xml、mapred-site.xml、hdfs-site.xml和core-site.xml,涉及ResourceManager、NodeManager、JobHistory Server、NameNode和DataNode等组件的配置,以及日志聚合、权限检查、垃圾回收和JDK路径设置等核心功能。

关于hadoop配置文件

a、yarn-site.xml 
<name>yarn.nodemanager.aux-services</name> 
<!--NodeManager上运行的附属服务,需配置成mapreduce_shuffle,才可运行MR程序-->
<name>yarn.resourcemanager.hostname</name> 
<!--主机名--> 
<name>yarn.resourcemanager.address</name>   
<!--ResourceManager 对客户端暴露的地址,客户端通过该地址向RM提交应用程序,杀死应用程序等。--> <name>yarn.resourcemanager.scheduler.address</name>

<!--ResourceManager对ApplicationMaster暴露的地址,AM通过该地址向RM申请资源、释放资源等。-->  
<name>yarn.resourcemanager.resource-tracker.address</name>

<!--ResourceManager 对NodeManager暴露的地址,NM通过该地址向RM汇报心跳,领取任务等--> 
<name>yarn.resourcemanager.admin.address</name>
<!--ResourceManager 对管理员暴露的访问地址,管理员通过该地址向RM发送管理命令等。--> 
<name>yarn.resourcemanager.webapp.address</name>
<!--ResourceManager对外web ui地址,用户可通过该地址在浏览器中查看集群各类信息。 -->
<name>yarn.log-aggregation-enable</name>  
<!--是否启用日志聚集功能-->     
<name>yarn.log.server.url</name> 
<!--指定查询日志的url--> 
b、mapred-site.xml 
<name>mapreduce.framework.name</name> 
<!--yarn运行mapreduce程序--> 
<name>mapreduce.jobhistory.address</name>   
<!--MapReduce JobHistory Server地址 --> 
<name>mapreduce.jobhistory.webapp.address</name>  
<!-- MapReduce JobHistory Server Web UI地址-->     
<name>mapreduce.jobhistory.done-dir</name> 
<!--MR JobHistory Server管理的日志的存放位置--> 
<name>mapreduce.jobhistory.intermediate-done-dir</name> 
<!--MapReduce作业产生的日志存放位置,日志的级别: DEBUG /INFO /WARN /ERROR /FATAL--> 
c、hdfs-site.xml 
<name>dfs.namenode.name.dir</name>   
<!--映射信息的保存路径--> 
<name>dfs.datanode.data.dir</name>   
<!--真正的datanode数据保存路径--> 
<name>dfs.namenode.checkpoint.dir</name> 
<!-- secondary namenode节点存储checkpoint文件目录--> 
<name>dfs.namenode.secondary.http-address</name> 
<!-- secondary name node web 监听端口 --> 
<name>dfs.permissions</name> 
<!-- 在HDFS中启用权限检查 TRUE|FALSE。-->     
d、core-site.xml 
<name>fs.trash.interval</name> 
<!--HDFS垃圾箱设置,可以恢复误删除,分钟数,0为禁用,添加该项无需重启hadoop--> 
<name>fs.defaultFS</name> 
<!--HadoopMaster的URI和端口--> 
hadoop-env.sh/yarn-env.sh     Hadoop/YARN环境有关的配置
在/etc/profile中设置的是系统环境变量,记住,是系统的,最后你要被$PATH引用,那么不管是linux还是window下面,开机的时候或者调用java的相关组件的时候就会去读取PATH,但是这是系统自己的事,不是hadoop的,hadoop是独立的,所以在hadoop需要用到java的时候你需要给他指明jdk的路径
Hadoop是用JAVA编写的,没有JDK它怎么运行,所以要配置路径让它找到JDK而后运转。


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值