用SQOOP抽取Oracle到HIVE_sqoop抽取oracle数据到hive-优快云博客

本文介绍了如何使用Sqoop将Oracle数据库的数据导出到Hive中，包括设置参数如连接信息、字段分隔符、目标目录和日期分区，以实现定期数据迁移和处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# 定义变量名字
hive='/usr/bin/hive'
hive_database=''
field_segmentation='\001'
external_storage_path='/user/hive/warehouse/HDFS文件路径'
source_database=''
source_username=''
source_pwd=''
source_ip=''
source_port='1521'



if [ -n "$1" ] ;then
    do_day=$1
else
    do_day=`date -d "-1 day" +%F`
fi


/usr/bin/sqoop import \
--connect "jdbc:oracle:thin:@//$source_ip:$source_port/$source_database" \
--username $source_username \
--password $source_pwd \
--query "select 每个字段都要写上 from 表哥表姐表叔 where \$CONDITIONS " \
--hive-delims-replacement '<br/>' \
--num-mappers 1 \
--fields-terminated-by $field_segmentation \
--target-dir $external_storage_path/表名_tmp \
--delete-target-dir \
--null-string '\\N' \
--null-non-string '\\N' \
--hive-import \
--hive-database $hive_database \
--hive-table HIVE表名 \
--hive-overwrite \
--hive-partition-key dt \
--hive-partition-value $do_day

if [ $? -eq 0 ];then
    echo "============<OK时间为[`date "+%Y-%m-%d %H:%M:%S"`]>============"
else
    echo "============<失败, 时间为[`date "+%Y-%m-%d %H:%M:%S"`]>============"
    exit 1
fi