sqoop的增量导入和split by

最新推荐文章于 2024-08-01 13:30:08 发布

原创

最新推荐文章于 2024-08-01 13:30:08 发布 · 499 阅读

1 ·

CC 4.0 BY-SA版权

本文介绍了如何使用Sqoop从MySQL数据库导入数据到HDFS和HIVE，包括按条件导入、增量导入以及解决数据倾斜问题的split-by策略。在增量导入中，详细阐述了两种方法，并提到了在遇到Hive不支持的数据类型、null值处理、导入压缩类型、指定分区以及处理特殊字符的优化技巧。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Sqoop是Hadoop和关系数据库服务器之间传送数据的一种工具。，底层运行的mr

列出所有数据库

：

bin/sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password hadoop

导入mysql表数据到HDFS

bin/sqoop import \
--connect jdbc:mysql://node-1:3306/userdb \
--username root \
--password hadoop \
--target-dir /sqoopresult \
--table emp --m 1

导入mysql表数据到HIVE

将关系型数据的表结构复制到hive中
bin/sqoop create-hive-table \
--connect jdbc:mysql://node-01:3306/userdb \
--table emp_add \
--username root \
--password 123456 \
--hive-table dbbank.emp_add_sp

从关系数据库导入文件到hive中
bin/sqoop import \
--connect jdbc:mysql://node-1:3306/userdb \
--username root \
--password hadoop \
--table emp_add \
--hive-table itcast.emp_add_sp \
--hive-import \
--m 1