ADS层加载数据脚本

最新推荐文章于 2025-08-21 16:03:05 发布

原创最新推荐文章于 2025-08-21 16:03:05 发布 · 553 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#大数据

shell 专栏收录该内容

18 篇文章

订阅专栏

博客介绍了ADS层加载数据脚本的操作。包括在hadoop102的指定目录下创建脚本，编写内容，增加脚本执行权限，说明脚本使用方法、执行时间，最后还提及查询导入结果的操作，涉及Hadoop和Hive相关内容。

ADS层加载数据脚本

1）在hadoop102的/home/atguigu/bin目录下创建脚本

[atguigu@hadoop102 bin]$ vim ads_uv_log.sh

在脚本中编写如下内容

#!/bin/bash

# 定义变量方便修改
APP=gmall
hive=/opt/module/hive/bin/hive

# 如果是输入的日期按照取输入日期；如果没输入日期取当前时间的前一天
if [ -n "$1" ] ;then
	do_date=$1
else 
	do_date=`date -d "-1 day" +%F`  
fi 

sql="
  set hive.exec.dynamic.partition.mode=nonstrict;

insert into table "$APP".ads_uv_count 
select  
  '$do_date' dt,
   daycount.ct,
   wkcount.ct,
   mncount.ct,
   if(date_add(next_day('$do_date','MO'),-1)='$do_date','Y','N') ,
   if(last_day('$do_date')='$do_date','Y','N') 
from 
(
   select  
      '$do_date' dt,
       count(*) ct
   from "$APP".dws_uv_detail_day
   where dt='$do_date'  
)daycount   join 
( 
   select  
     '$do_date' dt,
     count (*) ct
   from "$APP".dws_uv_detail_wk
   where wk_dt=concat(date_add(next_day('$do_date','MO'),-7),'_' ,date_add(next_day('$do_date','MO'),-1) )
)  wkcount  on daycount.dt=wkcount.dt
join 
( 
   select  
     '$do_date' dt,
     count (*) ct
   from "$APP".dws_uv_detail_mn
   where mn=date_format('$do_date','yyyy-MM')  
)mncount on daycount.dt=mncount.dt;
"

$hive -e "$sql"

2）增加脚本执行权限

[atguigu@hadoop102 bin]$ chmod 777 ads_uv_log.sh

3）脚本使用

[atguigu@hadoop102 module]$ ads_uv_log.sh 2019-02-11

4）脚本执行时间

企业开发中一般在每日凌晨30分~1点

5）查询导入结果

hive (gmall)> select * from ads_uv_count;