本文介绍了一种用于定时清理Hadoop环境下特定目录中旧文件的脚本实现方案。该方案通过使用find命令结合cron任务来定期删除指定路径下超过一定时间的文件，以释放磁盘空间并保持系统的高效运行。对于多节点集群，还提供了一个通过ssh远程执行清理脚本的方法，简化了维护流程。
清理文件脚本（已经测试通过）：
crontab脚本：
find /tmp/hadoop-flume/s3 -mtime +10 -exec rm -rf {} \;crontab脚本：
#clear
0 17 * * 5 cd /home/data/ sh clear_tmp.sh
如果只有一个结点只需要再那个结点上写一个crontab脚本就可以没周定时清理了
如果有多个结点，不想每一个结点上都写一次crontab脚本，可以利用ssh远程执行清理脚本，在一台机器上布一个crontab就可以了。
ssh dmp-slave1 "find /tmp/hadoop-flume/s3 -mtime +10 -exec rm -rf {} \;" 
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
