yarn任务临时目录暴增问题处理

sunxunyong

已于 2025-04-15 17:05:15 修改

阅读量155

点赞数 2

CC 4.0 BY-SA版权

文章标签：运维 linux

于 2025-04-15 11:17:45 首次发布

本文链接：https://blog.youkuaiyun.com/sunxunyong/article/details/147245309

yarn任务临时目录暴增问题
/tmp/hive/hive/97bed9ea-95f7-4ddd-aeed-6dda3e611684（UUID标识符，这是Hive会话或查询的唯一标识符，可用于关联日志。）
批量扫描所有hs2节点：
./runcmd.sh "grep -rn “97bed9ea-95f7-4ddd-aeed-6dda3e611684” /var/log/hive/hadoop-cmf-hive-HIVESERVER2-.log.out" hs
找到节点查询具体sql产生的影响：
grep -rn “97bed9ea-95f7-4ddd-aeed-6dda3e611684” /var/log/hive/hadoop-cmf-hive-HIVESERVER2-.log.out
由于日志暴增，会导致hdfs占用暴增，可能导致集群崩溃！！！

通过限制HDFS目录，避免风险：
设置1TB配额的命令：1TB = 1024GB = 1024 × 1024 × 1024 × 1024字节 = 1099511627776字节
hdfs dfsadmin -setSpaceQuota $((1 * 1024 * 1024 * 1024 * 1024)) /user/hadoop/some_directory
查询:hdfs dfs -count -q -v -h /tmp/hive/hive
QUOTA REM_QUOTA SPACE_QUOTA REM_SPACE_QUOTA DIR_COUNT FILE_COUNT CONTENT_SIZE PATHNAME
none inf 1 T 985.6 G 6.2 K 13.0 K 12.3 G /tmp/hive/hive