sqoop从oracle抽数脚本

最新推荐文章于 2022-03-07 11:21:29 发布

原创最新推荐文章于 2022-03-07 11:21:29 发布 · 761 阅读

0 ·

CC 4.0 BY-SA版权

本文为博主原创文章，未经博主允许可以转载。

文章标签：

#hive #hadoop #数据仓库

HIVE 专栏收录该内容

10 篇文章

订阅专栏

这是一个关于使用Sqoop工具从Oracle数据库导入数据到Hive的脚本示例。脚本中定义了数据库连接信息、字段分隔符、目标存储路径等参数，并通过设置查询条件和Hive分区进行数据迁移。该过程涉及数据预处理、Hive表的创建和覆盖写入。

hive='/usr/bin/hive'
hive_database='xxxxx'
field_segmentation='\001'
external_storage_path='/user/hive/warehouse/xxx/odsxxx'
source_database='xxx'
source_username='xxx'
source_pwd='xxxx'
source_ip='xxx'
source_port='1521'

if [ -n "$1" ] ;then
do_day=$1
else
do_day=`date -d "-1 day" +%F`
fi

/usr/bin/sqoop import \
--connect "jdbc:oracle:thin:@//$source_ip:$source_port/$source_database" \
--username $source_username \
--password $source_pwd \
--query "select * from xxxx where \$CONDITIONS " \
--hive-delims-replacement '<br/>' \
--num-mappers 1 \
--fields-terminated-by $field_segmentation \
--target-dir $external_storage_path/xxxxxxxx_tmp \
--delete-target-dir \
--null-string '\\N' \
--null-non-string '\\N' \
--hive-import \
--hive-database $hive_database \
--hive-table xxxxxx \
--hive-overwrite \
--hive-partition-key dt \
--hive-partition-value $do_day