Jack_Roy的博客

HDFS路径信息获取程序前言shell源码执行语句生成结果说明 前言 集群布置上线以后，随着数据的涌入，hdfs的磁盘容量所剩不多，在最近一次发生的节点宕机后，hdfs进行故障恢复更是直接将磁盘均写满至90%以上；超过资源阈值以后，该节点在yarn上不对外提供服务，整个集群的计算资源被锁死，调度全部暂停。 面对这样的情形，最简单粗暴的方法当然是删除数据，腾出disk空间，使得disk占用处于阈值以...

HDFS路径信息获取程序前言shell源码执行语句执行结果说明 前言 集群增加新节点后，hdfs 节点和disk之间的数据分配十分不均匀，需要进行均衡操作，这里写了一个简单的balance操作脚本 shell源码 #!/bin/bash # 904857600 动态分配balance操作的带宽 # 可执行ethtool bond0命令查看自己的带宽 # 其中bond0是网卡 sudo -u hd...