HDFS修改存储路径扩容

我这儿介绍的使用场景是,在docker里面搭建的大数据分析平台。因为系统是装在500GB的固态硬盘上的,所以所有的服务默认的存储路径都是在这500GB的盘子上,但是使用起来是远远不够的,这时我们就需要将2T的机械硬盘给用上。

docker里面的Ubuntu的系统无法直接挂载上2T的机械硬盘,办法是:

1.首先退出这个容器。如果你在运行了这个镜像后,容器内容有所改动,那么我建议你先将改动了的容器打成新的镜像,后面重新运行镜像的时候用这个新镜像,避免丢失数据,具体方法请自己百度。

2.退出容器之后,将2T的机械硬盘先挂载到你的物理机上。

3.然后重新运行镜像,运行的时候另外加上-v参数,格式为:-v 物理机上硬盘挂载到的目录:docker中的文件夹,其实就是将本地文件夹和docker里面的文件夹进行映射,如果docker里面没有那个文件夹,那么会自动创建,有关docker的volume知识请自己百度。

4.run成功后,启动容器,然后进入容器,使用命令df -h查看一下,你会发现多了一个硬盘挂载点,挂载目录为自己设置的那个目录。

5.如果你的大数据平台是使用的ambari管理的,请在ambari的web端进入HDFS的config进行修改(dfs.datanode.data.dir),直接修改配置文件hdfs-site.xml中是无效的,重启HDFS会被ambari撤销修改的。修改的路径填写你设置的docker里面的硬盘的挂载目录(路径前面不要加任何前缀,比如file:,我试过了,加上前缀是无法生效的),修改重启后,使用hdfs dfs -df -h查看,也可以使用hdfs dfsadmin -report,容量增加则成功。

注意:如果重启hdfs的时候,一直停在restart NameNode的环节上,那么查看日志,可能是由于hdfs自动启动了安全模式导致的,使用命令:hadoop dfsadmin -safemode leave,关闭安全模式之后,马上就会重启成功!

如果遇到了什么问题,欢迎加QQ:553877110,我们一起讨论一起成长!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

最强玩者

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值