七、Hadoop配置历史服务器

最新推荐文章于 2023-05-12 23:51:48 发布

铭绵羊

最新推荐文章于 2023-05-12 23:51:48 发布

阅读量970

点赞数

文章标签： hadoop 服务器 big data

本文链接：https://blog.youkuaiyun.com/weixin_40412745/article/details/121941217

版权

为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：
1）配置mapred-site.xml
vim mapred-site.xml

<!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop102:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop102:19888</value>
</property>

2）分发配置文件
xsync mapred-site.xml
3）在hadoop102启动历史服务器
mapred --daemon start historyservers
4）查看历史服务器是否启动
jps
5）在启动脚本mycluster.sh中添加历史服务器的启动和关闭
echo “============== START HISTORY ===================”
ssh hadoop102 /opt/module/hadoop-3.1.3/bin/mapred --daemon

echo “============== STOP HISTORY ===================”
ssh hadoop102 /opt/module/hadoop-3.1.3/bin/mapred --daemon