- 博客(2)
- 收藏
- 关注
RSS订阅原创 Hadoop中Jobhistory配置与启动
一、Jobhistory作用用户可以在浏览器查询每个job运行完以后的历史日志信息，比如map个数、reduce个数等，jobhistory是作为一台单独的服务器运行的。可以在namenode或者datanode上的任意一台启动即可。二、配置过程需要配置两个文件mapred-site.xml文件增加如下内容，本文将历史服务器配置在slave1上。<!-- 设置jobhistoryserver 服务器地址及对应端口 --><property> <nam
2021-08-22 16:59:34
4062
1
原创 Hadoop namenode重新格式化需要注意的问题
首先理解什么是namenode格式化格式化namenode即使配置文件生效，并格式化hdfs文件系统。重新格式化意味着集群所有的数据都会被删除，格式化之前要做好数据的备份。格式化过程（1）删除主节点（namenode节点），包括：hadoop的临时存储目录tmp；namenode存储永久性元数据目录tmp/dfs/name；hadoop日志文件log目录中的文件（而不是log目录！！！）（2）删除从节点（datanode），包括：同上删除上述的原因是每一次重新格式化都会重建上述目录或内容，如果.
2021-08-22 11:20:30
3482
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人