ODS层数据导入脚本

最新推荐文章于 2023-06-26 20:46:47 发布

原创最新推荐文章于 2023-06-26 20:46:47 发布 · 319 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#大数据

shell 专栏收录该内容

18 篇文章

订阅专栏

博客介绍了ODS层数据导入脚本的操作步骤。包括在指定目录创建脚本ods_db.sh并填写内容，增加脚本执行权限，执行脚本导入不同日期的数据，最后还给出了查询导入数据的示例，属于大数据相关操作。

ODS层数据导入脚本

1）在/home/atguigu/bin目录下创建脚本ods_db.sh

[atguigu@hadoop102 bin]$ vim ods_db.sh

在脚本中填写如下内容

#!/bin/bash

   APP=gmall
   hive=/opt/module/hive/bin/hive

# 如果是输入的日期按照取输入日期；如果没输入日期取当前时间的前一天
if [ -n "$1" ] ;then
	do_date=$1
else 
	do_date=`date -d "-1 day" +%F`
fi

sql=" 
load data inpath '/origin_data/$APP/db/order_info/$do_date' OVERWRITE into table "$APP".ods_order_info partition(dt='$do_date');

load data inpath '/origin_data/$APP/db/order_detail/$do_date' OVERWRITE into table "$APP".ods_order_detail partition(dt='$do_date');

load data inpath '/origin_data/$APP/db/sku_info/$do_date' OVERWRITE into table "$APP".ods_sku_info partition(dt='$do_date');

load data inpath '/origin_data/$APP/db/user_info/$do_date' OVERWRITE into table "$APP".ods_user_info partition(dt='$do_date');

load data inpath '/origin_data/$APP/db/payment_info/$do_date' OVERWRITE into table "$APP".ods_payment_info partition(dt='$do_date');

load data inpath '/origin_data/$APP/db/base_category1/$do_date' OVERWRITE into table "$APP".ods_base_category1 partition(dt='$do_date');

load data inpath '/origin_data/$APP/db/base_category2/$do_date' OVERWRITE into table "$APP".ods_base_category2 partition(dt='$do_date');

load data inpath '/origin_data/$APP/db/base_category3/$do_date' OVERWRITE into table "$APP".ods_base_category3 partition(dt='$do_date'); 
"
$hive -e "$sql"

2）增加脚本执行权限

[atguigu@hadoop102 bin]$ chmod 777 ods_db.sh

3）执行脚本导入数据

[atguigu@hadoop102 bin]$ ods_db.sh 2019-02-10

[atguigu@hadoop102 bin]$ ods_db.sh 2019-02-11

4）查询导入数据

hive (gmall)>

select * from ods_order_info where dt='2019-02-10' limit 1;

select * from ods_order_info where dt='2019-02-11' limit 1;