ERROR org.apache.hadoop.conf.Configuration: Failed to set setXIncludeAware(true) for parser

最新推荐文章于 2023-04-30 00:20:27 发布
最新推荐文章于 2023-04-30 00:20:27 发布 · 897 阅读 · 0
文章标签：

#大数据 #java #开发工具

本文介绍了一个关于Hadoop中使用Xerces解析器遇到的问题及解决方案。错误表现为无法设置XIncludeAware属性，原因是存在jar包冲突。解决办法是移除自定义的xercesImpl.jar，转而使用JDK自带的解析器。
ERROR org.apache.hadoop.conf.Configuration: Failed to set setXIncludeAware(true) for parser org.apache.xerces.jaxp.DocumentBuilderFactoryImpl@104faf8:java.lang.UnsupportedOperationException: This parser does not support specification "null" version "null"
java.lang.UnsupportedOperationException: This parser does not support specification "null" version "null"
at javax.xml.parsers.DocumentBuilderFactory.setXIncludeAware(DocumentBuilderFactory.java:590)
at org.apache.hadoop.conf.Configuration.loadResource(Configuration.java:1143)
at org.apache.hadoop.conf.Configuration.loadResources(Configuration.java:1119)
at org.apache.hadoop.conf.Configuration.getProps(Configuration.java:1063)
at org.apache.hadoop.conf.Configuration.get(Configuration.java:416)
at org.apache.hadoop.mapred.JobConf.checkAndWarnDeprecation(JobConf.java:1910)
at org.apache.hadoop.mapred.JobConf.<init>(JobConf.java:322)
at org.apache.hadoop.mapred.Child.main(Child.java:72)


原因：

jar包冲突

解决方法：

删除自己的xercesImpl.jar，用jdk自身的编译器，问题解决了

书凡世界
关注
Flume报错：找不到org/apache/hadoop/conf/Configuration类的解决方案
AlianBlank的博客
08-17 748
当遇到Flume报错"找不到org/apache/hadoop/conf/Configuration"类时，通常是由于Hadoop配置问题或缺少依赖项引起的。确保"path/to/hdfs/directory"的路径正确指向您的Hadoop文件系统的目录。在Flume的配置文件中，您需要指定Hadoop的目录路径，以便Flume可以找到所需的类和依赖项。确保您按照正确的步骤启动Flume代理，并验证是否仍然出现"org/apache/hadoop/conf/Configuration"类的错误。
Apache Ranger 2.4.0 集成hadoop 3.X(Kerbos)
guofei_ok的博客
06-30 1518
参照上一个文章。
Hadoop的Configuration类冲突问题
提炼技能，形成智慧
05-23 2169
ERROR [org.apache.hadoop.conf.Configuration] - Failed to set setXIncludeAware(true) for parser org.apache.xerces.jaxp.DocumentBuilderFactoryImpl@9e1be92:java.lang.UnsupportedOperationException: This p
Failed to set setXIncludeAware(true) for parser com.caucho.xml.parsers.XmlDocumentBuilderFactory@d83
blackice1015的博客
11-24 1333
2015-11-24 13:44:27,027 [main] ERROR conf.Configuration (Configuration.java:2370) - Failed to set setXIncludeAware(true) for parser com.caucho.xml.parsers.XmlDocumentBuilderFactory@d83365:java.lang.UnsupportedOperationException: This parser does not su
hive启动元数据报错:org.apache.hadoop.conf.Configuration.getPassword(Ljava/lang/String；)[C
tutouxiaocaiji的博客
10-05 1335
或者在show databases时候报错：Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 在跟着尚硅谷数仓4.0视频学习的时候，所有都是按照视频中配置，hadoop版本为hadoop3.1.3,hive版本为hive3.1.2。之后就遇到了再启动hive服务之后，使用show databases,报错Unable to instantiate org.apache.hadoop.hive
Hbase安装后运行报错：ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing
qq_56638712的博客
11-14 1095
刚学hbase遇到的Master is initializing报错解决方法
Spark源码解析之org.apache.spark.deploy.SparkSubmit源码解析
攸的博客
01-20 1204
前面解读launch.main的时候已经了解了spark-submit的提交流程，这里大概看下流程。 当打jar提交到集群运行的时候，一般会设置一些参数，例如本地提交examples的SparkPi： spark-submit \ --class org.apache.spark.examples.SparkPi \ --master spark://192.168.2.1:7077 \ D...
7. Spark源码解析之org.apache.spark.deploy.SparkSubmit源码解析
L, there!
08-05 1798
前面解读launch.main的时候已经了解了spark-submit的提交流程，这里大概看下流程。 当打jar提交到集群运行的时候，一般会设置一些参数，例如本地提交examples的SparkPi： spark-submit \ --class org.apache.spark.examples.SparkPi \ --master spark://192.168.2.1:7077 \ D...
Hadoop3.1.3单机版安装Hive3.1.2(Redhat8.0)
落落的专栏 专注SQL调优 性能调优
05-06 2068
下载 Hive3.1.2并上传到 /tmp apache-hive-3.1.2-bin.tar.gz 下载 MySQL驱动并上传到 /tmp mysql-connector-java-5.1.48.tar.gz 安装MySQL8.0.19，在Redhat8.0上安装完MySQL8.0.19后，进入MySQL会报如下错误： [root@server ~]# mysql -uroot -p...
一日一坑之：hadoop3.x VS hive3.x
TianyeWang的博客
09-10 3377
最近安装了新版本的hadoop3.x版本，按照老思路此时需要安装hive3.x用来搭配我们崭新的hadoop，重新翻出来我的泛黄的hive2.x版本的安装说明书安装了一遍，就在此时坑来了。 坑一：FAILED: ParseException line 1:5 cannot recognize input near 'show' 'database' '<EOF>' in ddl st...
org.apache.hadoop.conf.Configuration无法引用 解决方法
weixin_30347009的博客
05-08 7409
我用的是Hadoop-common 2.6.4jar，可是明明包里面有这个类却引用不了，然后我看了下包里面是一个抽象类。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。 所以就换了一个2.7.0然后就可以引用了。 public class Configuration implements terable&...
Hive异常:报错:org.apache.hadoop.conf.Configuration.getPassword(Ljava/lang/String；)[C-解决问题同时搭建Hive环境
Philosophy7的博客
05-02 3647
解决Hive执行HQL异常一、问题分析二、解决问题1、将JDBC驱动拷入到Hive家目录下的lib目录2、在Hive家目录/conf创建一个hive-site.xml文件3、登录到MySQL创建数据库metastore4、初始化元数据库5 、启动Hadoop集群6、启动Hive 一、问题分析 当我们进入Hive Shell窗口时，执行HQL操作将会报错: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStore
hadoop 出现FATAL conf.Configuration: error parsing conf file，异常
u012516914的专栏
07-13 7373
FATAL conf.Configuration: error parsing conf file: com.sun.org.apache.xerces.internal.impl.io.MalformedByteSequenceException: Invalid byte 1 of 1-byte UTF-8 sequence. 14/07/12 23:51:40 ERROR namenode.
Apache Hadoop setXIncludeAware UnsupportedOperationException
jingjingliang02的专栏
02-08 549
编译软件没有问题，当项目启动时候却报了下面这个错误。 ERROR conf.Configuration: Failed to set setXIncludeAware(true) for parser org.apache.xerces.jaxp.DocumentBuilderFactoryImpl@2662e5cf:java.lang.UnsupportedOperationException...
问题解决：java运行HiveQL，报错：java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration
热门推荐
枫夜
06-17 1万+
使用Java编写HiveQL语句，然后通过jdbc的方式远程连接hive集群，并执行。在执行过程中，出现报错，其错误信息为：“java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration”。根据这个问题提示，按照步骤解决了问题，并整理成博文输出。
This parser does not support specification "null" version "null" 有关问题的处理
anzy/pine的博客
05-10 4047
今天项目奇怪的报 This parser does not support specification "null" version "null" 这个错 从网上查了一下是JDK中缺xerces.jar包（用于XML解析） 在Eclipse中报错如下： java.lang.UnsupportedOperationException: This parser does n
This parser does not support specification "null" version "null"
sinoyang的专栏
09-22 2663
今天在eclipse里面运行M/R的时候报这个错 12/09/22 12:17:53 ERROR conf.Configuration: Failed to set setXIncludeAware(true) for parser org.apache.xerces.jaxp.DocumentBuilderFactoryImpl@55571e:java.lang.UnsupportedOper
【ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializi】HBase单机模式意外退出导致后续创建崩溃的解决方法
qq_53383206的博客
04-30 3909
错误原因：按照林子雨的大数据教程搭建好Hbase环境后，我使用创建表和添加一些属性的命令，一开始非常正常，但是当我输入一个中文的时候，通过get命令显示的时候出现的十六进制编码，本质上是对的，但是我更加希望能得到语义信息更加明显的中文。我的理解是：强制退出导致hbase存储文件中出现了意外的错误标注，导致hbase无法写入这个文件，也无法读取这个文件，因为根据hbase设计原理，一个主机上的文件出现问题那么以后都不能使用这个主机的东西，如果需要使用，则需要较为复杂的配置。
Tomcat启动报错This parser dose not support specification null version null
doubleRighttt的博客
05-14 381
This parser dose not support specification “null” version “null” tomcat启动时报错This parser dose not support specification “null” version “null” 在jdk的安装路径下找xerces.jar包(例:D:jdk8.0/jre/lib/ext/xerces.jar)，放置到tomcat的lib目录下。 或者直接在maven repository下载 <dependenc
zeppelin java.lang.NoClassDefFoundError org.apache.hadoop.conf.Configuration
最新发布
05-27
### Zeppelin 中 `java.lang.NoClassDefFoundError` 错误分析与解决方案 在 Apache Zeppelin 运行过程中，如果出现 `java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration` 的错误，通常表明当前环境中缺失必要的 Hadoop 配置文件或相关依赖 jar 包。以下是详细的分析和解决方法： #### 1. **问题原因** 该错误的根本原因是 Java 虚拟机无法找到指定的类 `org.apache.hadoop.conf.Configuration`。这可能是由于以下原因之一引起的： - 当前环境中的 Hadoop 相关 jar 文件版本不兼容。 - 缺少必要的 Hadoop jar 文件。 - 类路径配置不当，导致 JVM 未能加载所需的库。 此情况可以通过调整 Zeppelin 的依赖项以及重新配置其运行时环境来解决[^1]。 --- #### 2. **解决步骤** ##### (1) 检查并替换 Hadoop Jar 文件 进入 Zeppelin 安装目录下的 `lib` 子目录，确认是否存在旧版或冲突的 Hadoop jar 文件。如果有，请删除这些文件，并从 Spark 或其他组件中复制最新的 Hadoop jar 文件到 Zeppelin 的 `lib` 目录下。例如： ```bash cd zeppelin-0.7.2-bin-all/lib rm hadoop-* # 删除所有可能引起冲突的 Hadoop jar 文件 cp ../spark/jars/hadoop-common*.jar ./ cp ../spark/jars/hadoop-hdfs*.jar ./ ``` 确保所使用的 Hadoop jar 文件版本与集群上的 Hadoop 版本一致[^1]。 --- ##### (2) 修改 Classpath 设置 验证 Zeppelin 是否能够正确识别 Hadoop 的 classpath。可以在启动脚本中显式设置 HADOOP_CONF_DIR 和 HADOOP_HOME 环境变量。编辑 Zeppelin 启动脚本（通常是 `bin/zeppelin-env.sh`），添加如下内容： ```bash export HADOOP_CONF_DIR=/path/to/hadoop/etc/hadoop export HADOOP_HOME=/path/to/hadoop ``` 其中 `/path/to/hadoop` 是实际安装 Hadoop 的根目录位置。 --- ##### (3) 更新 Maven 依赖（适用于自定义构建） 如果通过源码编译部署 Zeppelin，则需确保 pom.xml 文件中包含正确的 Hadoop 依赖声明。例如： ```xml <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.7.3</version> <!-- 替换为您的 Hadoop 实际版本 --> </dependency> ``` 完成修改后重新执行 mvn clean install 构建命令以更新依赖关系。 --- ##### (4) 清理缓存并重启服务 清理临时数据可以有效避免残留文件干扰新配置生效。停止正在运行的服务实例后再继续操作： ```bash ./bin/zeppelin-daemon.sh stop rm -rf /tmp/zeppelin/* # 移除工作区内的历史记录 ./bin/zeppelin-daemon.sh start ``` --- #### 3. **代码示例：验证 Configuration 加载成功与否** 为了进一步排查问题所在，可编写一段简单的测试代码尝试手动初始化 `Configuration` 对象： ```scala import org.apache.hadoop.conf.Configuration object TestHadoopConfig { def main(args: Array[String]): Unit = { val conf = new Configuration() println(s"Hadoop configuration loaded successfully! ${conf.toString}") } } ``` 将上述 Scala 程序保存至合适的位置并通过 spark-shell 执行它；如果没有抛出异常则证明基础环境已修复完毕。 --- ### 总结 通过对 Zeppelin 的依赖管理优化及其关联参数设定调整，基本能消除因缺少特定类而引发的 NoClassDefFoundError 异常状况。务必保持各个子模块间版本号的一致性以免再次遭遇类似困境。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值