[Linux]结合awk删除hdfs指定日期前的数据

原创

于 2015-08-11 20:48:11 发布 · 6.6k 阅读

5 ·

CC 4.0 BY-SA版权

本文介绍了在Linux环境下，如何使用脚本配合awk命令删除HDFS上五天以前的过期数据，以实现自动清理功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

业务背景

约定五天前的HDFS数据为过期版本数据，写一个脚本自动删除过期版本数据

$ hadoop fs -ls /user/pms/workspace/ouyangyewei/data
Found 9 items
drwxr-xr-x   - pms pms          0 2015-08-11 17:03 /user/pms/workspace/ouyangyewei/data/2015-08-01
drwxr-xr-x   - pms pms          0 2015-08-11 17:03 /user/pms/workspace/ouyangyewei/data/2015-08-02
drwxr-xr-x   - pms pms          0 2015-08-11 17:03