hadoop 配置完善（一）

最新推荐文章于 2022-04-18 12:33:30 发布

凌冰_

最新推荐文章于 2022-04-18 12:33:30 发布

阅读量341

点赞数

CC 4.0 BY-SA版权

分类专栏： Hadoop

本文链接：https://blog.youkuaiyun.com/hlx20080808/article/details/80092730

Hadoop 专栏收录该内容

22 篇文章

订阅专栏

本文介绍Hadoop日志的查看与管理方法，并详细解释如何配置Jobhistory以实现日志聚合，包括修改配置文件及启动相关服务的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

（一）日志详解

进入hadoop这个目录下查看日志（开启两个命令窗口）

#cd logs/

#ls //查看

#rm -rf ./* //删除logs目录下所以的日志文件
#ls

#sbin/start-dfs.sh //启动dfs

#ls //再查看日志

hadoop-root-datanode-hadoop.log 详细日志信息；可以查看datanode

说明：hadoop是框架名； root用户名； datanode进程名； hadoop.log 日志后缀名；

#more hadoop-root-datanode-hadoop.log // 一行一行的查看,按Enter

#tail -f hadoop-root-datanode-hadoop.log //滚动的方式查看

写as,按Enter

#先关闭再重启hdfs
#sbin/stop-dfs.sh
#jps

#sbin/start-dfs.sh //就能看到滚动的日志

再启动yarn

#sbin/start-yarn.sh

#jps

说明：
SecondaryNameNode：辅助NameNode集群管理
ResourceManager ：管理集群资源
NodeManager：向ResourceManager申请资源
JPS 查看系统进程
NameNode 存储元数据
DataNode : 存储数据

案例

#bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar

#bin/hadoop jar share/hadoop/mapreduce/hadoop-mapredude-examples-2.7.6.jar wordcount /words /out2

查看用户统计词频日志
#cd logs

#ls

#cd userlogs

#ls

（二）Jobhistory

hlx:19888/jobhistory/job/job_15XXXx 访问不了
要启动： jobhistory

# sbin/mr-jobhistory-daemon.sh start historyserver

#jps查看系统进程

单击Map查看

单击logs查看

默认是日志文件存储在本地，需要手动开启！
解决： http://hadoop.apache.org/docs/r2.7.6/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

去查找这个aggregation

修改 yarn-site.xml文件

日志删除时间为7天= 7*24*60*60=604800

<!--日志启用 -->
	 <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
	
	<!--7天就删除日志，默认是永久不删除 -->
	 <property>
        <name>arn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>
	
	<!--修改日志目录 -->
	 <property>
        <name>yarn.nodemanager.remote-app-log-dir</name>
        <value>/logs</value>
    </property>

配置完成yarn-site.xml文件之后。

（1）先停止yarn 再重新启动yarn
#sbin/stop-yarn.sh
#jps

#sbin/start-yarn.sh

（2）先停止jobhistory 再重新启动jobhistory
  #sbin/mr-jobhistory-daemon.sh stop historyserver
  #jps

#sbin/mr-jobhistory-daemon.sh start historyserver

（3）再运行词频统计
#bin/hadoop jar share/hadoop/mapreduce/hadoop-mapredude-examples-2.7.6.jar wordcount /words /out4

浏览访问：yarn,jobhistory 查看logs

查看刚刚运行的：

Uber主要：小作业优化，提高效率；

http://hadoop.apache.org/docs/r2.7.6/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml 查找uber模式

配置mapred-site.xml文件

<!-- 启动uber模式(优化小作业） -->
	<property>
        <name>mapreduce.job.ubertask.enable</name>
        <value>true</value>
    </property>
	
	<!-- 启动uber模式的最大map数 -->
	<property>
        <name>mapreduce.job.ubertask.maxmaps</name>
        <value>9</value>
    </property>
	
	<!-- 启动uber模式的最大mapreduce数 -->
	<property>
        <name>mapreduce.job.ubertask.maxreduces</name>
        <value>1</value>
    </property>

（1）先停止dfs 再重新启动dfs
（2）先停止yarn 再重新启动yarn

（3）先停止jobhistory 再重新启动jobhistory