编写sqoop的自动shell脚本完成对hive中ods层的增量数据导入

竹长大大

已于 2022-02-21 20:06:05 修改

阅读量953

点赞数 1

CC 4.0 BY-SA版权

分类专栏： # Hive 文章标签： mysql sqoop hive 数据仓库 etl

于 2022-02-17 15:24:02 首次发布

本文链接：https://blog.youkuaiyun.com/qq_17685725/article/details/122984264

本文介绍了如何编写sqoop的自动shell脚本来实现对Hive中ODS（Operational Data Store）层的增量数据导入，从而高效地进行数据仓库ETL过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

例子1：编写sqoop的自动shell脚本完成对hive中ods层的增量数据导入

#!/bin/bash

if [ $# -eq 1 ]; then
  date_str=`date -d "$1" +"%Y-%m-%d"`
  year_month=`date -d "$1" +"%Y_%m"`
else
  date_str=`date -d "-1 day" +"%Y-%m-%d"`
  year_month=`date -d "-1 day" +"%Y_%m"`
fi

# echo ${date_str}
# echo ${year_month}

SQOOP_HOME="/usr/bin/sqoop"
JDBCURL="jdbc:mysql://node151:3306/nev?useUnicode=true&characterEncoding=utf-8"
USERNAME="root"
PASSWORD="Heima@123456"

# 1 处理 主表 增量数据
${SQOOP_HOME} import \
--connect "${JDBCURL}" \
--username ${USERNAME} \
--password ${PASSWORD} \
--query "select
id,
create_date_time,
session_id,
sid,
create_time,
seo_source,
seo_keywords,
ip,
area,
country,
province,
city,
origin_channel,
user as user_match,
manual_time,
begin_time,
end_time,
last_customer_msg_time_stamp,
last_agent_msg_time_stamp,
reply_msg_count,
msg_count,
browser_name,
os_info,
'${date_str}' as starts_time
from nev.web_chat_ems_${year_month}
where create_time between '${date_