Hadoop版本第一代的配置以及升级总结

本文分享了Hadoop升级的具体步骤及经验总结,包括网络配置、JDK安装、SSH配置及Hadoop配置等内容。特别强调了在升级过程中对于dfs.data.dir及dfs.name.dir目录的操作要点。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

  经过这几天不停的配置,换了几个版本,感觉到很头疼,但是升级完成之后就感觉轻松许多。博客中转载有一篇文章是Hadoop升级的详细说明,这里说一下体会。

  Hadoop第一代配置经过几次配置之后没有多少难度,分为几个步骤,第一个是网络,第二个是安装jdk,第三个是配置ssh,两个文件或文件夹的权限要设置正确才行。第四个就是hadoop的配置了。在升级时,由于只需要改变hadoop的配置,所以在以前配置的基础上只修改hadoop的版本就行了,具体见hadoop升级的博客。

  重新启动集群时要先格式化,这个时候把slave节点上的dfs.data.dir下面的全部删除,将临时文件也删除掉,dfs.name.dir下的文件就就不要动了,然后用命令格式化就行了,集群就起了。不要删除以前的dfs.name.dir,否则不能格式化成功,因为格式化时是Re-format,所以以前的文件必须要有才能再一次格式化。

   要重新配置一个zookeeper或者是Hbase,可以将以前配置好的scp过来,就可以减少很多麻烦,可以删除掉logs。

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值