awk编程实践3：将shell变量作为参数传递给awk

原创于 2019-07-03 10:58:22 发布 · 461 阅读

0 ·

CC 4.0 BY-SA版权

shell 同时被 2 个专栏收录

3 篇文章

订阅专栏

AWK

1 篇文章

订阅专栏

本文分享了一个使用Hadoop进行数据处理的Shell脚本实例，该脚本通过循环遍历日期，从Hadoop文件系统中读取指定日期的数据，并进行格式化处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

echo `pwd`
cd `pwd`
startDay=20190606
for i in {0..18}
do
        day=`date -d "$startDay +$i day" +%Y%m%d`
        echo $day
        `hadoop fs -cat /bigdata/output/day/$day/active-back-30/partG2-r-* >> activeback_${day}`
        ts=`date -d $day +%s`
        t=$(((ts+28800)/86400))
        `awk -F ' ' '{print($1,$2,$3,$4,$5,"'$t'")}' activeback_$day >> activeback_"$day"_formate`
done