Sqoop增量导入Hive

最新推荐文章于 2024-01-22 07:54:48 发布

原创最新推荐文章于 2024-01-22 07:54:48 发布 · 1w 阅读

16 ·

CC 4.0 BY-SA版权

文章标签：

#Sqoop #hive

大数据专栏收录该内容

13 篇文章

订阅专栏

本文介绍如何使用Sqoop 1.4.4版本从MySQL迁移到Hive的过程，包括创建Hive表、设置表属性、数据导入及增量更新等关键步骤，并提供了验证数据完整性的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

特殊说明

Sqoop版本为1.4.4，别用最新的

准备工作

如果Hive中已经有数据，直接到【在Hive中执行】就行

1) 复制MySQL的表结构到Hive

sqoop create-hive-table --connect jdbc:mysql://192.168.1.1:3306/radius --username root --password 123 --table um_appuser --hive-table um_appuser --fields-terminated-by "\0001"  --lines-terminated-by "\n"

2) 创建Hive表对应的目录

hdfs dfs -mkdir /user/hive/um_appuser

3) 修改表Hive表对应的目录

ALTER TABLE um_appuser SET LOCATION 'hdfs://node1:8020/user/hive/um_appuser';

4) 转换为外部表

ALTER TABLE um_appuser SET TBLPROPERTIES ('EXTERNAL'='TRUE');

将数据导入Sqoop

sqoop import --connect jdbc:mysql://192.168.1.1:3306/radius --username root --password 123 --table um_appuser --hive-import --hive-table um_appuser

在Hive中执行

SELECT id FROM um_appuser ORDER BY id DESC LIMIT 1;

查询结果：15902

增量导入

1) 创建job（注意–last-value的值，上一步查询得到的结果）

sqoop job --create um_appuser -- import --connect jdbc:mysql://192.168.1.1:3306/radius --username root --password 123 --table um_appuser --hive-import --hive-table um_appuser --incremental append --check-column id --last-value 15902

2) 查看已经创建的Sqoop job

sqoop job --list

3) 创建调度任务

0 */1 * * * sqoop job --exec um_appuser > um_appuser_sqoop.log 2>&1 &

校验数据

1) 查询Hive

SELECT id FROM um_appuser ORDER BY id DESC LIMIT 1;
--SELECT COUNT(DISTINCT id) FROM um_appuser;
SELECT COUNT(id) FROM um_appuser;
SELECT id FROM um_appuser GROUP BY id HAVING COUNT(id) > 1;

2) 查询MySQL

SELECT COUNT(1) FROM um_appuser WHERE id <= （Hive查询出最新的id）;