Sqoop与Mysql的数据导入导出脚本

最新推荐文章于 2024-07-13 22:59:21 发布

原创最新推荐文章于 2024-07-13 22:59:21 发布 · 301 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#sqoop #mysql

后台指标分析应用搭建专栏收录该内容

9 篇文章

订阅专栏

本文介绍如何使用Sqoop工具实现MySQL数据到Hive的高效迁移。包括创建job进行数据导入及导出的具体命令示例，并针对不同场景进行了详细的参数配置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

导入demo:

#! /bin/bash

# 将mysql的充值表导入到hive中的临时表
# job创建
sqoop job --create xxx_recharge_log_job -- import --hive-import --connect jdbc:mysql://xxx.master:3306/ryff_logic --username root --password root --verbose -m 1 --hive-database ryff_dataware --hive-table temp_server_recharge_log --query 'select id,player_id,order_id,out_order_id,server_addr,shop_item_id,money,state,create_time,deliver_time,args,channel_id,server_id from server_recharge_log where $CONDITIONS' --split-by 'id' --target-dir /user/hive/warehouse/temp_server_recharge_log --fields-terminated-by '\001' --incremental append --check-column id --last-value 0

导出demo:

#! /bin/bash

if [ -n "$1" ] ; then
        do_date=$1
else
        do_date=`date -d "-1 day" +%F`
fi

sqoop export --connect jdbc:mysql://xxx.xxx.xx.xxx:3306/game_manager --username root --password xxx --table test_ads_xxx_level_event_count --hcatalog-database xxx_dataware --hcatalog-table test_ads_xxx_level_event_count --num-mappers 1 --hcatalog-partition-keys dt --hcatalog-partition-values $do_date

sqoop export --connect jdbc:mysql://xxx.xxx.xx.xxx:3306/game_manager --username root --password xxx --table test_ads_xxx_level_event_count_entire --hcatalog-database xxx_dataware --hcatalog-table test_ads_xxx_level_event_count_entire --num-mappers 1 --hcatalog-partition-keys dt --hcatalog-partition-values $do_date

sqoop export --connect jdbc:mysql://xxx.xxx.xx.xxx:3306/game_manager --username root --password xxx --table user_remain --hcatalog-database xxx_dataware --hcatalog-table test_ads_xxx_user_remain --num-mappers 1 --hcatalog-partition-keys dt --hcatalog-partition-values $do_date

sqoop export --connect jdbc:mysql://xxx.xxx.xx.xxx:3306/game_manager --username root --password xxx --table user_online_time_detail --hcatalog-database xxx_dataware --hcatalog-table ads_xxx_user_online_time --num-mappers 1 --hcatalog-partition-keys dt --hcatalog-partition-values $do_date

sqoop export --connect jdbc:mysql://xxx.xxx.xx.xxx:3306/game_manager --username root --password xxx --table user_login_count_detail --hcatalog-database xxx_dataware --hcatalog-table ads_xxx_user_login_count --num-mappers 1 --hcatalog-partition-keys dt --hcatalog-partition-values $do_date