sqoop2 常见问题以及处理方式

最新推荐文章于 2023-05-06 06:07:59 发布

原创最新推荐文章于 2023-05-06 06:07:59 发布 · 945 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#java #大数据

hadoop 同时被 2 个专栏收录

14 篇文章

订阅专栏

sqoop2

4 篇文章

订阅专栏

本文介绍了SQOOP使用过程中常见的几个问题及其解决办法，包括连接函数不被识别、端口冲突、启动任务时发生的异常以及查看任务状态时报错等问题，并提供了具体的配置调整和启动命令。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、报错：The specified function "connection" is not recognized.
原因是版本不一样，SQOOP 1.99.4以后命令就变了: 具体看这
里：https://sqoop.apache.org/docs/1.99.4/CommandLineClient.html#create-link-function

二、sqoop端口冲突

要注意一下$SQOOP_HOME/server/conf/server.xml中的tomcat端口问题，确保这些端口不会和你其他tomcat服务器冲突。

三、在start job(如：start job --jid 2)时常见错误：

Exception has occurred during processing command
Exception: org.apache.sqoop.common.SqoopException Message: CLIENT_0001:Server has returned exception

在sqoop客户端设置查看job详情：

set option --name verbose --value true
start job --jid 2

四、使用 status job --jid 1 查看job状态时，报错：

java.io.IOException: java.net.ConnectException: Call from node3 /192.168.182.100 to 0.0.0.0:10020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused

出现这样的问题有两方面原因：

1、在hadoop的配置文件mapper-site.xml文件中没有指定mapreduce.jobhistory.address属性，该属性确定MR的记录访问的目标主机以及端口号,原因知道了就好办了，在mapper-site.xml文件中添加上这个属性

<property>
<name>mapreduce.jobhistory.address</name>
<value>node3:10020</value>
</property>

2、JobHistoryServer进程没有启动, 通过mr-jobhistory-daemon.sh启动即可
/usr/hadoop/hadoop-2.6.0-cdh5.5.1/sbin/mr-jobhistory-daemon.sh start historyserver