sqoop导入mysql数据到hive中报错

最新推荐文章于 2024-12-25 10:31:38 发布
原创 最新推荐文章于 2024-12-25 10:31:38 发布 · 5k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#sqoop

本文介绍了一个关于MySQL数据库连接器版本不匹配导致的Streaming Resultset错误，并提供了具体的解决方案，通过更改mysql-connector-java的版本成功解决了问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >



ERROR manager.SqlManager: Error reading from database: java.sql.SQLException: Streaming result set com.mysql.jdbc.RowDataDynamic@6c4fc156 is still active. No statements may be issued when any streaming result sets are open and in use on a given connection. Ensure that you have called .close() on any active streaming result sets before attempting more queries.
java.sql.SQLException: Streaming result set com.mysql.jdbc.RowDataDynamic@6c4fc156 is still active. No statements may be issued when any streaming result sets are open and in use on a given connection. Ensure that you have called .close() on any active streaming result sets before attempting more queries.
 at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:930)
 at com.mysql.jdbc.MysqlIO.checkForOutstandingStreamingData(MysqlIO.java:2646)
 at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java:1861)
 at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2101)
 at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2548)
 at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2477)
 at com.mysql.jdbc.StatementImpl.executeQuery(StatementImpl.java:1422)
 at com.mysql.jdbc.ConnectionImpl.getMaxBytesPerChar(ConnectionImpl.java:2945)
 at com.mysql.jdbc.Field.getMaxBytesPerCharacter(Field.java:582)
 at com.mysql.jdbc.ResultSetMetaData.getPrecision(ResultSetMetaData.java:441)
 at org.apache.sqoop.manager.SqlManager.getColumnInfoForRawQuery(SqlManager.java:285)
 at org.apache.sqoop.manager.SqlManager.getColumnTypesForRawQuery(SqlManager.java:240)
 at org.apache.sqoop.manager.SqlManager.getColumnTypes(SqlManager.java:226)
 at org.apache.sqoop.manager.ConnManager.getColumnTypes(ConnManager.java:295)
 at org.apache.sqoop.orm.ClassWriter.getColumnTypes(ClassWriter.java:1773)
 at org.apache.sqoop.orm.ClassWriter.generate(ClassWriter.java:1578)
 at org.apache.sqoop.tool.CodeGenTool.generateORM(CodeGenTool.java:96)
 at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:478)
 at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:601)
 at org.apache.sqoop.Sqoop.run(Sqoop.java:143)
 at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
 at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:179)
 at org.apache.sqoop.Sqoop.runTool(Sqoop.java:218)
 at org.apache.sqoop.Sqoop.runTool(Sqoop.java:227)
 at org.apache.sqoop.Sqoop.main(Sqoop.java:236)
14/11/11 19:58:15 ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: No columns to generate for ClassWriter
 at org.apache.sqoop.orm.ClassWriter.generate(ClassWriter.java:1584)
 at org.apache.sqoop.tool.CodeGenTool.generateORM(CodeGenTool.java:96)
 at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:478)
 at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:601)
 at org.apache.sqoop.Sqoop.run(Sqoop.java:143)
 at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
 at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:179)
 at org.apache.sqoop.Sqoop.runTool(Sqoop.java:218)
 at org.apache.sqoop.Sqoop.runTool(Sqoop.java:227)
 at org.apache.sqoop.Sqoop.main(Sqoop.java:236)



后经定位，发现是mysql-connect-java jar包的版本不对

改为mysql-connector-java-5.1.31 这个版本后就可以了

【Hive】解决sqoop从mysql数据库导入数据到hive报错Hive exited with status 64
LifeIsGood
06-15 1250
【Hive】解决sqoop从mysql数据库导入数据到hive报错Hive exited with status 64
Sqoop导数据到Hive中报错：java.io.IOException: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf
zp17834994071的博客
09-03 1602
在使用Sqoop把MySQL数据导入到Hive中的时候报了一个错： ERROR tool.ImportTool: Import failed: java.io.IOException: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf at org.apache.sqoop.hive.HiveConfig.getHiveConf(HiveConfig.java:50) at org.a
sqoop mysql导入hive报错_使用sqoop从mysql导入数据到hive
weixin_39866881的博客
01-20 948
前言这篇文章主要是用sqoop从mysql导入数据到hive时遇到的坑的总结。环境：系统：Centos 6.5Hadoop：Apache，2.7.3Mysql：5.1.73JDK：1.8Sqoop：1.4.7Hadoop以伪分布式模式运行。一、使用的导入命令参照里面的方法，在mysql建了表，填充了数据，然后按照自己的情况输入了命令：sqoop import --connect jdbc:mysq...
Sqoop进行导入数据到Hive时报错：ERRORtool.ImportTool:Importfailed:java.io.IOException:java.lang.ClassNotFoundExc
qq_45263520的博客
04-30 2810
在使用Sqoop进行MySQL数据导入到Hive的过程中出现一下错误提示。ERRORtool.ImportTool:Importfailed:java.io.IOException:java.lang.ClassNotFoundExceptionorg.apache.hadoop.hive.conf.HiveConf
sqoop将oracle数据导入到hive报错：Error: java.io.IOException: SQLException in nextKeyValue
GentleCAT_1的博客
06-10 1308
sqoop将oracle数据导入到hive报错：Error: java.io.IOException: SQLException in nextKeyValue1、字段属性不匹配
【Sqoop】将mysq的数据导入hive数仓报错
可乐大牛的博客
02-14 259
错误操作 bin/sqoop import \ --connect jdbc:mysql://ip:3306/demo \ --username 账号 \ --password 密码 \ --table order \ --num-mappers 1 \ --hive-import \ --fields-terminated-by "\t" \ --hive-overwrite \ --hive-table ods_order 错误详情 The connection property ‘zeroDateT
sqoop mysql导入hive报错_使用sqoop从mysql导入数据到Hive报错
weixin_32946431的博客
01-20 507
第一阶段的到HDFS的阶段没问题，MR作业也能正常完成，但是第二阶段Loading uploaded data into Hive的过程出错了。错误的日志如下：15/10/23 14:34:18 INFO mapreduce.ImportJobBase: Transferred 30 bytes in 31.2422 seconds (0.9602 bytes/sec)15/10/23 14:3...
sqoop将mysql数据导入hive时常见报错报错解决方案
qq_42668255的博客
08-31 1193
一、导入命令： sqoop import --connect jdbc:mysql://172.20.5.117:3306/userinfo --username root --password gzp --table userinfo --target-dir /test2 --hive-import --hive-table userinfo 二、报错一：ERROR tool.Imp...
sqoop从MySQL发送数据到hdfs拒绝连接
enjoy_zm的博客
05-18 710
sqoopa从MySQL发送数据到hdfs拒绝连接 报错：java.net.ConnectException: Call From hadoop1/192.168.222.131 to hadoop3:8032 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see: 参考：http://wiki.apache.org/hadoop/ConnectionRefused 原因及
sqoop 从mysql导入数据到hive报错
weixin_34232744的博客
01-13 320
2019独角兽企业重金招聘Python工程师标准>>> ...
sqoop导入数据到hive中，数据不一致
05-04
NULL 博文链接：https://kingding.iteye.com/blog/2435018
[sqoop篇]将MySQL库表中的数据导入到hive中报错hive.表名 already exists
alone554的博客
09-02 1431
一、执行语句 二、报错内容 三、报错原因 hive.defaults. ods_test_stu表已经存在，所以我不能继续在hive中创建ods_test_stu表 四、解决方案 方法1.修改导入进hive中的表名 ，既将执行语句中的参数--hive-table ods_test_stu中的ods_test_stu改了(例如此处我将表名改为ods-test_student) 方法2.删除之前主节点导入hive中的表,也就是hive里的ods_test_stu表
14、使用Sqoop从mysql导入数据到hive报错:Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF...
Norni的博客
10-12 415
问题描述 使用Sqoop从mysql导入数据到hive报错:Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly 分析 对于HiveConf.class类是存在的 措施 修改$SQOOP_HOME/conf/sqoop-env.sh # 添加以下内...
集群中使用Sqoop迁移数据到hive时报错
qq_62066736的博客
12-25 441
中去执行，但是其他集群中并没有相应的mysql数据库，也就是找不到"目标数据库‘test1’"这个报错；将MySql中的数据通过Sqoop迁移到Hive中，实现MySql<–>Hive数据流通体系；修改"127.0.0.1"为"master"主机，因为mysql数据库储存在master主机上。重点在于Sqoop命令中的"127.0.0.1"表明要求本机数据库，因此导致报错；因为搭建的是Hadoop集群模式，执行时会将Sqoop命令发送到。，显示导入失败，但hive中却真实导入了部分数据的情况。
sqoop从mysql向hive增量导入数据错误汇总
m0_59887059的博客
04-07 2275
首先要理解增量的概念，每天更新的数据才需要被添加到hive中，如果全部数据都要导入，会造成冗余 1 向hive导入时报错ClassNotFound hive.metastore.jar 发生这种情况时，sqoop的lib的无法找到hive的jar包 可能是hive3.0版本以上无法兼容sqoop，重新下载了hive2.0版本的，更改sqoop的配置参数，就可以正常使用了 2 hive的表格存储格式为parquet格式，使用sqoop导入数据时可能会不兼容，报数据类型的异常 需要将hive的表格存储
sqoop导入数据进hive中遇到问题的解决办法
轻言少语的博客
07-21 851
因为我是在导入成功后才写的文章，所以问题就不一一赘述了，直接解决方案。 我原版本信息：hive-2.3.6 hadooop2.7 sqoop-1.4.7 在网上找了很多方法，没有解决问题，没有导入数据成功，我就换了下hive版本 现版本信息： hive-1.2.1 hadooop2.7 sqoop-1.4.7 解决办法（依次执行）： 1. [root@hadoop01 ~]# cp /usr/local/hive1.2.1/lib/hive-common-1.2.1.jar /usr/
SQOOP中从mysql导入数据到hive中报错解决方法
lcz393537415的专栏
05-19 545
执行下面的语句是报的错误,
SQL command not properly ended
12-14 7996
sql语句写错啦 private static final String UpdateUserSql="update ZHONGHQ_USER set USER_NAME=?,USER_SEX=?,USER_AGE=?    from    ZHONGHQ_USER  where ID=?"; private static final String UpdateUserSql="update
sqoop import数据出错Got error creating database manager: java.io.IOException: No manager for connect str
轻言少语的博客
07-21 2620
[root@hadoop01 sqoop1.4.7]# sqoop import --connect jdbc://hadoop01:3306/qfdb --username root --password 123456 --table emp -m 1 Warning: /usr/local/sqoop1.4.7/../hcatalog does not exist! HCatalog jobs will fail. Please set $HCAT_HOME to the root of your HC
dolphinscheduler使用sqoop将mysql数据导入hive
最新发布
08-05
在 DolphinScheduler 中使用 Sqoop 从 MySQL 导入数据到 Hive，通常涉及 Sqoop 脚本的编写、Hive 和 Hadoop 环境的配置、以及 DolphinScheduler 的任务调度配置。以下是具体实现方法和注意事项。 ### 1. Sqoop 命令的编写 Sqoop 用于将 MySQL 数据导入 Hive 的基本命令如下： ```bash sqoop import \ --connect jdbc:mysql://<mysql-host>:3306/<database-name> \ --username <mysql-username> \ --password <mysql-password> \ --table <table-name> \ --hive-import \ --hive-table <hive-database>.<hive-table-name> \ --hive-overwrite \ --fields-terminated-by ',' \ --lines-terminated-by '\n' \ --target-dir /user/hive/warehouse/<hive-database>.db/<hive-table-name> ``` 其中： - `--connect` 指定 MySQL 数据库的连接地址。 - `--username` 和 `--password` 用于数据库认证。 - `--table` 指定 MySQL 中的源表。 - `--hive-import` 表示将数据导入到 Hive。 - `--hive-table` 指定 Hive 中的目标表。 - `--hive-overwrite` 允许覆盖目标表中的现有数据。 - `--fields-terminated-by` 和 `--lines-terminated-by` 定义文件中的字段和行分隔符。 - `--target-dir` 指定 HDFS 中的存储路径，Hive 会从此路径读取数据。 ### 2. DolphinScheduler 中的任务配置 在 DolphinScheduler 中，可以通过 Shell 任务或 Sqoop 任务类型执行 Sqoop 命令。具体步骤如下： 1. **创建工作流**：进入 DolphinScheduler Web UI，创建一个新的工作流。 2. **添加任务节点**：选择任务类型为 `Shell` 或 `Sqoop`（如果支持）。 3. **编写脚本**：在任务的脚本编辑器中输入上述 Sqoop 命令。 4. **配置资源**：确保任务节点中引用了正确的资源文件（如配置文件或脚本文件）。 5. **设置调度时间**：根据需求配置调度策略，例如一次性执行或周期性执行。 6. **保存并上线**：完成配置后保存并上线工作流。 ### 3. 环境配置与问题处理 #### 3.1 Hive 依赖问题 在 DolphinScheduler 中运行 Sqoop 任务时，可能会遇到类路径问题，例如 `NoClassDefFoundError` 或 `ClassNotFoundException`。解决方法包括： - 确保所有 Hive 和 Hadoop 的依赖库（如 `hive-metastore` 和 `hadoop-client`）已正确安装并配置。 - 在 DolphinScheduler 的环境变量中设置 `HADOOP_CLASSPATH`，以包含 Hive 和 Sqoop 的依赖库。 #### 3.2 Hadoop 配置 确保 Hadoop 的配置文件（如 `core-site.xml` 和 `hdfs-site.xml`）位于 Sqoop 的类路径中。可以通过设置 `HADOOP_CONF_DIR` 环境变量实现： ```bash export HADOOP_CONF_DIR=/opt/installs/hadoop/etc/hadoop ``` #### 3.3 DolphinScheduler 配置 如果 DolphinScheduler 运行在腾讯云等特殊环境中，可能会遇到 `UnknownHostException` 或 `NullPointerException`。需要检查并修改 DolphinScheduler 的配置文件 `common.properties`，确保以下配置正确： ```properties resource.manager.httpaddress.port=5004 ``` ### 4. 数据导入流程示例 假设 MySQL 中有一个表 `employees`，需要导入到 Hive 中的 `default.employees` 表中，具体步骤如下： 1. **创建 Hive 表**：在 Hive 中提前创建目标表。 ```sql CREATE TABLE default.employees ( id INT, name STRING, department STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n'; ``` 2. **执行 Sqoop 命令**：使用 DolphinScheduler 调度 Sqoop 命令将数据导入 Hive。 ```bash sqoop import \ --connect jdbc:mysql://localhost:3306/company_db \ --username root \ --password password \ --table employees \ --hive-import \ --hive-table default.employees \ --hive-overwrite \ --fields-terminated-by ',' \ --lines-terminated-by '\n' \ --target-dir /user/hive/warehouse/default.db/employees ``` 3. **验证数据**：在 Hive 中查询导入的数据，确保数据已正确加载。 ```sql SELECT * FROM default.employees; ``` ### 5. 常见问题与解决方案 #### 5.1 NoClassDefFoundError 如果出现 `NoClassDefFoundError` 错误，通常是由于缺少 Hive 或 Hadoop 的依赖库。解决方法包括： - 确保所有必要的 JAR 文件已正确安装。 - 在 Sqoop 命令中使用 `--libjars` 参数指定依赖库的路径。 #### 5.2 UnknownHostException 如果 DolphinScheduler 报 `UnknownHostException`，可能是由于 ResourceManager 的 HTTP 地址配置错误。解决方法包括： - 修改 DolphinScheduler 的 `common.properties` 文件，设置正确的 HTTP 端口。 #### 5.3 NullPointerException 如果 DolphinScheduler 报 `NullPointerException`，可能是由于任务状态获取失败。解决方法包括： - 检查 DolphinScheduler 的日志，确认是否与 ResourceManager 的连接有关。 - 确保 ResourceManager 的 HTTP 地址和端口配置正确。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值