Sqoop将MySQL数据导入到HDFS和Hive中

最新推荐文章于 2024-08-12 03:07:57 发布

Rayfutao

最新推荐文章于 2024-08-12 03:07:57 发布

阅读量568

点赞数

分类专栏：数据仓库

本文链接：https://blog.youkuaiyun.com/qq_43184146/article/details/100080662

版权

本文详细介绍了如何使用Sqoop将MySQL的数据导入到HDFS以及直接导入到Hive中。首先，通过调整jdbc驱动解决导入HDFS时遇到的问题，然后演示了全量和增量导入的命令。接着，展示了直接将MySQL表数据导入Hive的步骤，并确认数据成功加载到Hive表中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、将数据从mysql导入 HDFS

sqoop import --connect jdbc:mysql://192.168.76.1:3306/workflow --username root --password a --table project

报错

tool.ImportTool: Encountered IOException running import job: java.io.IOException: No columns to generate for ClassWriter
分析: jdbc驱动问题，注意: mysql版本及jdbc驱动版本

请使用 mysql-connector-java-5.1.46.jar，将它复制到 sqoop/lib下.

日志分析

19/07/31 21:27:17 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `project` AS t LIMIT 1
19/07/31 21:27:17 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `project` AS t LIMIT 1
19/07/31 21:27:17 INFO orm.CompilationManager: HADOOP_MAPRED_HOME is /usr/local/hadoop275
Note: /tmp/sqoop-root/compile/904dde1997bf14585ed20790f49bf50f/project.java uses or overrides a deprecated API.
Note: Recompile with -Xlint: