Hadoop记录-HDFS配额Quota

最新推荐文章于 2022-06-22 14:46:45 发布

转载最新推荐文章于 2022-06-22 14:46:45 发布 · 379 阅读

1 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/xinfang520/p/10442607.html

文章标签：

#大数据 #运维

本文介绍如何使用HDFS命令行工具设置和管理文件数配额、空间配额，包括设置配额、清除配额及查看目录占用情况。通过示例展示了具体的命令用法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

设置文件数配额

hdfs dfsadmin -setQuota <N> <directory>...<directory>

例如：设置目录下的文件总数为1000个hdfs dfsadmin -setQuota 1000 /p/work

清除配额

hdfs dfsadmin -clrQuota <directory>...<directory>

设置空间配额

hdfs dfsadmin -setSpaceQuota <N> <directory>...<directory>

例如：hdfs dfsadmin -setSpaceQuota 9T /p/work

清除目录大小配额

dfsadmin -clrSpaceQuota <directory>...<director>

查看目录占用情况

字段说明

字段	说明
QUOTA	目录数+文件数的限制
REM_QUOTA	可用的目录数+文件数
SPACE_QUOTA	字节数限制
REM_SPACE_QUOTA	可用字节数
DIR_COUNT	目录数
FILE_COUNT	文件数
CONTENT_SIZE	当前文件大小
PATHNAME	HDFS路径

#!/bin/sh

export HADOOP_CONF_DIR=/home/hdfs/balancer/hadoop-conf
linesum=$(cat userquota.txt | wc -l)
let linesum=linesum+1
if [ $linesum -gt 0 ]
   then
   for (( i = 1 ; i < $linesum ; i++ ))
   do  
       size=$(sed -n "$i p" userquota.txt | awk '{print $4*3}')T
	   dir=$(sed -n "$i p" userquota.txt| awk '{print $1}') 
       hdfs dfsadmin -setSpaceQuota  $size  $dir
   done
else
   echo "txt is nothing"
fi

转载于:https://www.cnblogs.com/xinfang520/p/10442607.html