Sqoop1.4.4使用SQL语句形式将MySQL数据库表中数据导入到HDFS中

最新推荐文章于 2023-09-15 20:12:51 发布

原创

最新推荐文章于 2023-09-15 20:12:51 发布 · 9.2k 阅读

6 ·

CC 4.0 BY-SA版权

本文介绍了如何使用Sqoop1.4.4的--query参数执行SQL语句，将MySQL数据库表数据导入到HDFS。强调了--split-by参数的重要性，以及处理SQL语句中双引号的问题。还讨论了 Sqoop的Map tasks数量调整，数据导入格式，包括分隔符文本和SequenceFiles，并提供了导入结果示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题导读：

1、Sqoop使用SQL语句实现数据导入使用哪个参数？

2、使用--query参数执行数据导入，三个必须加上的参数是？

3、--split-by参数的作用？

4、Sqoop执行数据导入时，Map tasks的默认个数是？

5、--query后SQL语句双引号和单引号的区别？该怎么解决？

6、Sqoop执行数据导入有哪两种数据文件格式？默认的是哪个文件格式？

一、自由查询形式导入

Sqoop还支持将任意的查询结果集导入，不使用--table、--columns和--where，使用SQL语句--query参数执行自由查询导入，但是必须指定--target-dir目录，必须指定--split-by 分隔列，同时必须使用where且在其后加个$CONDITIONS，使Sqoop进程替代为一个唯一的条件表达式达到条件查询效果。如下：

[hadoopUser@secondmgt conf]$ sqoop import --connect jdbc:mysql://secondmgt:3306/spice --username hive --password hive --query  'select * from users where  id<60 and $CONDITIONS' --split-by id -m 1 --target-dir /output/query/
Warning: /usr/lib/hcatalog does not exist! HCatalog jobs will fail.
Please set $HCAT_HOME to the root of your HCatalog installation.
15/01/18 14:30:10 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.
15/01/18 14:30:10 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.
15/01/18 14:30:10 INFO tool.CodeGenTool: Beginning code generation
15/01/18 14:30:11 INFO manager.SqlManager: Executing SQL statement: select * from users where  id<60 and  (1 = 0)
15/01/18 14:30:11 INFO manager.SqlManager: Executing SQL statement: select * from users where  id<60 and  (1 = 0)
15/01/18 14:30:11 INFO manager.SqlManager: Executing SQL statement: select * from users where  id<60 and  (1 = 0)
15/01/18 14:30:11 INFO orm.CompilationManager: HADOOP_MAPRED_HOME is /home/hadoopUser/cloud/hadoop/programs/hadoop-2.2.0
Note: /tmp/sqoop-hadoopUser/compile/3488270c7f7b23dd3b556d8d185f6a82/QueryResult.java uses or overrides a deprecated API.
Note: Recompile with -Xlint:deprecation for details.
15/01/18 14:30:12 INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-hadoopUser/compile/3488270c7f7b23dd3b556d8d185f6a82/QueryResult.jar
15/01/18 14:30:12 INFO mapreduce.ImportJobBase: Beginning query import.
15/01/18 14:30