sqoop异常

最新推荐文章于 2022-12-08 16:00:51 发布

小白walk

最新推荐文章于 2022-12-08 16:00:51 发布

阅读量550

点赞数

CC 4.0 BY-SA版权

分类专栏：问题汇总文章标签： sqoop maven hive

本文链接：https://blog.youkuaiyun.com/bytexiaobai/article/details/106849049

问题汇总专栏收录该内容

1 篇文章

订阅专栏

本文详细记录了在部署DolphinSchedule时遇到的因Maven引起的hive版本冲突问题，以及该问题如何导致sqoop运行异常。通过卸载Maven下的xalan-j2和xerces-j2，成功解决了配置解析错误的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

sqoop异常问题汇总

- 1.Maven引起的依赖冲突

1.Maven引起的依赖冲突

问题过程：

在部署DolphinSchedule时，发现数据源不能添加hive，原因为hive版本冲突(集群为CDH5.12.2, hive为1.1; DS版本1.2.0,hive为2.1)；
于是在带有sqoop的服务器中部署了Maven，对DS源码修改后进行了编译；
在这台服务器中sqoop运行就出现了如下错误:

20/06/18 18:50:23 FATAL conf.Configuration: error parsing conf core-default.xml
[INFO] 2020-06-18 18:50:23.975  - [taskAppId=TASK-1-8-8]:[106] -  -> javax.xml.parsers.ParserConfigurationException: Feature 'http://apache.org/xml/features/xinclude' is not recognize
Exception in thread "main" java.lang.RuntimeException: javax.xml.parsers.ParserConfigurationException: Feature 'http://apache.org/xml/features/xinclude' is not recognized.
Caused by: javax.xml.parsers.ParserConfigurationException: Feature 'http://apache.org/xml/features/xinclude' is not recognized.

解决方式：
yum -y remove XXX
卸载Maven下的xalan-j2 和 xerces-j2即可.

解决方式来自 cloudera 问答，作者 rluciani
回复标题为：Re: Sqoop Import into Hive - Error with configuration

链接: https://community.cloudera.com/t5/Support-Questions/Sqoop-Import-into-Hive-Error-with-configuration/m-p/46336.
回复内容：

I found that I had accidentally pulled in xalan-j2 and xerces-j2 while installing maven on that node. Uninstalling them using yum solved the issue.