HIVE学习与实践（三）：结合linux shell脚本按日期提取表，count，distinct，group by用法

最新推荐文章于 2022-12-07 18:15:26 发布

原创

最新推荐文章于 2022-12-07 18:15:26 发布 · 934 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#linux shell #脚本 #hive

本文通过一个名为create_everyday.sh的bash脚本示例，演示如何在Linux环境下使用HIVE进行数据统计。脚本接收两个日期参数，用于按日期分区查询数据。内容涉及HIVE的select嵌套、count、distinct和group by操作，以及shell脚本中date命令的运用和while循环的使用。最终，脚本还会计算执行时间。

例子

下面的例子create_everyday.sh是在bash 脚本里面嵌入 hive的代码，实现在bash下
直接运行脚本

create_everyday.sh 20110101 20110302

就可以统计把每天的信息提出来。

create_everyday.sh：

# file: create_everday.sh
#!/bin/sh 
# 确定时间范围 从startdate到enddate
source /home/hduser0539/.bash_profile
 start=`date +%s`


  if [[ -z $1 ]]; then
      #dateStr=`date +%Y-%m-%d -d "-1 day"`
      echo "No start_date input!!!"
      exit
  else
      startdate=$1