sqoop export推送案例

该脚本展示了如何从Hive中导出数据并使用sqoop将其批量导入到Oracle数据库中。首先,通过Hive SQL查询将数据写入HDFS,然后使用sqoop export命令更新Oracle表,包括设置数据库连接信息、表名、字段映射以及处理NULL值的方式。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

#!/bin/bash

#ora数据库参数

 url=jdbc:oracle:thin:@17.16.1.1:1521:orcl

 uid=ods

 pwd=xxxxxx

 table_name=S02_ASSET_PACKAGE_T1

 

#Hive_hdfs 

 hdfs_url=/apps/hive/warehouse/ods.db/s02_asset_package_t1_f

 columns="ID,CODE,TARGET,TYPE,PLAN_AMOUNT,AMOUNT,INVEST_PLAN_ID,RELATIVE_ID,RELATIVE_TYPE,RELATIVE_CODE,RELATIVE_COUNT,MATCH_COUNT,WAIT_RELATIVE_COUNT,INVESTED_RELATIVE_COUNT,INVESTED_AMOUNT,MATCH_AMOUNT,REMAIN_AMOUNT,STATUS,IS_DELETED,CREATED_AT,UPDATED_AT,ETL_DATE"

 

  current_time=`date "+%Y-%m-%d %H:%M:%S"`

 

 hive -e "use ods;

          insert overwrite directory '${hdfs_url}'                

        select ID,CODE,TARGET,TYPE,PLAN_AMOUNT,AMOUNT,INVEST_PLAN_ID,RELATIVE_ID,RELATIVE_TYPE,RELATIVE_CODE,RELATIVE_COUNT,MATCH_CO

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值