Sqoop抽数报IO Error: Connection reset

最新推荐文章于 2022-10-25 16:03:34 发布

原创最新推荐文章于 2022-10-25 16:03:34 发布 · 2.8k 阅读

2 ·

CC 4.0 BY-SA版权

Sqoop 专栏收录该内容

7 篇文章

订阅专栏

本文解决了一个在使用Sqoop将Oracle数据导入Hive表时出现的错误问题：java.sql.SQLRecoverableException: IOError: Connection reset。通过修改JRE中的java.security文件，将securerandom.source的值更改为file:/dev/../dev/urandom，该问题得以解决。

现象

在使用Sqoop从Oracle抽数据到Hive表时，有时候会遇到以下报错，

Error: java.lang.RuntimeException: java.lang.RuntimeException: java.sql.SQLRecoverableException: IO Error: Connection reset
    at org.apache.sqoop.mapreduce.db.DBInputFormat.setDbConf(DBInputFormat.java:170)
    at org.apache.sqoop.mapreduce.db.DBInputFormat.setConf(DBInputFormat.java:161)
    at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:73)
    at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:133)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:749)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1714)
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)
Caused by: java.lang.RuntimeException: java.sql.SQLRecoverableException: IO Error: Connection reset
    at org.apache.sqoop.mapreduce.db.DBInputFormat.getConnection(DBInputFormat.java:223)
    at org.apache.sqoop.mapreduce.db.DBInputFormat.setDbConf(DBInputFormat.java:168)
    ... 10 more

解决

此问题一般是由于缺少一个生成快速随机数的工具，一般可以通过在JRE中的java.security中修改securerandom.source的值为以下内容并重新登陆shell解决问题。

cd $JAVA_HOME/jre/lib/security

vi java.security

securerandom.source=file:/dev/../dev/urandom