hadoop hdfs 解决磁盘间数据不均衡问题

最新推荐文章于 2024-07-15 02:58:55 发布

原创最新推荐文章于 2024-07-15 02:58:55 发布 · 3.1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hdfs #hadoop #balancer #磁盘

本文探讨了磁盘倾斜的原因，如扩容节点和磁盘大小不一致，及其导致的性能问题，包括影响本地计算效率、网络带宽利用率和磁盘资源分配。提供了一种脚本方案，用于平衡磁盘间的数据分布，提升整体系统性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、引起磁盘倾斜不均衡的可能原因有哪些
（1）扩容节点，向集群中添加新的数据节点
（2）数据节点之间的磁盘大小不一致

二、磁盘倾斜引起的性能问题
（1）MR程序无法很好地利用本地计算的优势
（2）机器之间无法达到更好的网络带宽使用率
（3）机器磁盘无法利用

通过以下脚本可以解决磁盘间数据拷贝以实现磁盘间均衡

#!/bin/bash
src=$1
dest=$2
top=$3
srcDir='/opt/data'$src'/hdfs/current/BP-*/current/finalized'
destDir='/opt/data'$dest'/hdfs/current/BP-*/current/finalized'
#进入当前目录
cd $srcDir
#获取二级子目录空间前十的目录
dir=`du -k --max-depth=2 | sort -nr | awk 'length($2)>15' | head -$top | awk '{print substr($2,2)}'`
#将字符串转化维数组
arr=(${dir// / })
j=0
for i in ${arr[@]}
do
let j=j+1
echo $j
echo $srcDir$i
if [ -x "$destDir$i" ];then
echo $destDir$i
mv $srcDir$i/* $destDir$i
else
mkdir $destDir$i
echo $destDir$i
mv $srcDir$i/* $destDir$i
fi
done