使用Sqoop1.4.7将MySQL同步到Hadoop分区表_实践带源码复制可用

最新推荐文章于 2024-06-23 14:24:24 发布

原创最新推荐文章于 2024-06-23 14:24:24 发布 · 289 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #mysql #hive #sqoop

大数据同时被 2 个专栏收录

4 篇文章

订阅专栏

sqoop

2 篇文章

订阅专栏

本文提供了一个shell脚本示例，展示如何使用Sqoop将MySQL的数据导入到Hadoop的Hive分区表中，脚本会根据MySQL数据类型动态创建Hive表，并按日期进行分区。用户可以指定日期参数，将数据导入对应分区。

Sqoop导入MySQL数据到Hadoop分区表

目标表不需要在Hive中提前创建，Sqoop会根据MySQL数据类型在Hive中创建对应类型的表。

将下列shell脚本命名为sqoop_ads_test_table_1d_to_Hive.sh,直接复制即可，亲测可用.



#!/bin/bash
if [ -n "$1" ] ;then
    load_date=$1
else
    load_date=`date -d "-1 day" +%F`
fi

source_db=test_db
source_table=test_table

# test/prod来控制测试还是生产
env=prod
my_url="jdbc:mysql://10.10.10.10:3306/${source_db}"
username=your_name
password=your_pwd


if [ $env = "prod" ] ;then
my_url="jdbc:mysql://10.10.10.11:3307/${source_db}"
username=your_name
password=your_pwd
fi


query="select id,
              name,
              deleted
FROM ${source_db}.${source_table} WHERE 1=1 "
##### hive配置
hive_db=ods
hive_table=ods_${source_db}__${source_table}_1d
hive_partition=dt
hive_table_dir="/user/hive/warehouse/ods.db/${hive_table}"

echo "`date`----------sqoop import $table_name job start!!!!!"

nohup sqoop import --connect "${my_url}?useUnicode=true&tinyInt1isBit=false&amp;characterEncoding=utf8&amp;zeroDateTimeBehavior=convertToNull&amp;allowMultiQueries=true" \
--username ${username} --password "${password}" \
--query " ${query} AND \$CONDITIONS" \
--hive-import --hive-database ${hive_db} \
--hive-table ${hive_table} \
--target-dir ${hive_table_dir}/dt=${load_date} \
--delete-target-dir \
--hive-partition-key ${hive_partition} \
--hive-partition-value ${load_date} \
--hive-drop-import-delims --null-string '\\N' \
--null-non-string '\\N' --split-by id \
--m 10 --verbose

echo "`date`----------sqoop import $table_name job end!!!!!"

echo "`date`----------ETL shop_ods data job end!!!!!"

然后在虚拟机运行

sh sqoop_ads_test_table_1d_to_Hive.sh '2023-04-02'

后边的日期即将MySQL数据同步到Hive表中的dt=2022-04-02分区中。

最后，感谢大家的观看，有需要改进的地方希望大家在下方留言，关注我，有不懂的技术问题为你解决。