sqoop把数据从mysql导入到hdfs，hive，hbase

最新推荐文章于 2025-05-27 17:39:28 发布

在下蔡江琪

最新推荐文章于 2025-05-27 17:39:28 发布

阅读量452

点赞数

CC 4.0 BY-SA版权

分类专栏： sqoop

本文链接：https://blog.youkuaiyun.com/qq_41848129/article/details/99703640

本文详细介绍了如何使用sqoop将MySQL数据库中的数据导入到HDFS、HBase和Hive中，包括解决导入过程中遇到的问题，如jdbc驱动问题、行键设置、HBase表创建等，并提供了相应的命令示例和关键参数解释，如--hbase-table、--column-family、--hive-import等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 列出库
sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username XXX(用户名)--password XXX(密码)
2. 列出workflow下的表
sqoop list-tables --connect jdbc:mysql://localhost:3306/workflow --username XXX(用户名)--password XXX(密码)

3. 查看帮助
sqoop help

将MySQL数据导入到hdfs里

sqoop import --connect jdbc:mysql://localhost:3306/workflow --username XXX(用户名) --password XXX(密码) --target-dir /test100 --table project

问题: tool.ImportTool: Encountered IOException running import job: java.io.IOException: No columns to generate for ClassWriter问题
分析: jdbc驱动问题，注意: mysql版本及jdbc驱动版本

请使用 mysql-connector-java-5.1.46.jar，将它复制到 sqoop/lib下.

测试以上导入是否成功:
hadoop dfs -ls /test100/project

hadoop dfs -cat /test100/project/part*