ERROR org.apache.hadoop.conf.Configuration: Failed to set setXIncludeAware(true) for parser

最新推荐文章于 2023-04-30 00:20:27 发布
最新推荐文章于 2023-04-30 00:20:27 发布 · 898 阅读 · 0
文章标签：

#大数据 #java #开发工具

本文介绍了一个关于Hadoop中使用Xerces解析器遇到的问题及解决方案。错误表现为无法设置XIncludeAware属性，原因是存在jar包冲突。解决办法是移除自定义的xercesImpl.jar，转而使用JDK自带的解析器。
ERROR org.apache.hadoop.conf.Configuration: Failed to set setXIncludeAware(true) for parser org.apache.xerces.jaxp.DocumentBuilderFactoryImpl@104faf8:java.lang.UnsupportedOperationException: This parser does not support specification "null" version "null"
java.lang.UnsupportedOperationException: This parser does not support specification "null" version "null"
at javax.xml.parsers.DocumentBuilderFactory.setXIncludeAware(DocumentBuilderFactory.java:590)
at org.apache.hadoop.conf.Configuration.loadResource(Configuration.java:1143)
at org.apache.hadoop.conf.Configuration.loadResources(Configuration.java:1119)
at org.apache.hadoop.conf.Configuration.getProps(Configuration.java:1063)
at org.apache.hadoop.conf.Configuration.get(Configuration.java:416)
at org.apache.hadoop.mapred.JobConf.checkAndWarnDeprecation(JobConf.java:1910)
at org.apache.hadoop.mapred.JobConf.<init>(JobConf.java:322)
at org.apache.hadoop.mapred.Child.main(Child.java:72)


原因：

jar包冲突

解决方法：

删除自己的xercesImpl.jar，用jdk自身的编译器，问题解决了

书凡世界
关注
Flume报错：找不到org/apache/hadoop/conf/Configuration类的解决方案
AlianBlank的博客
08-17 748
当遇到Flume报错"找不到org/apache/hadoop/conf/Configuration"类时，通常是由于Hadoop配置问题或缺少依赖项引起的。确保"path/to/hdfs/directory"的路径正确指向您的Hadoop文件系统的目录。在Flume的配置文件中，您需要指定Hadoop的目录路径，以便Flume可以找到所需的类和依赖项。确保您按照正确的步骤启动Flume代理，并验证是否仍然出现"org/apache/hadoop/conf/Configuration"类的错误。
Apache Ranger 2.4.0 集成hadoop 3.X(Kerbos)
guofei_ok的博客
06-30 1518
参照上一个文章。
Hadoop的Configuration类冲突问题
提炼技能，形成智慧
05-23 2170
ERROR [org.apache.hadoop.conf.Configuration] - Failed to set setXIncludeAware(true) for parser org.apache.xerces.jaxp.DocumentBuilderFactoryImpl@9e1be92:java.lang.UnsupportedOperationException: This p
Failed to set setXIncludeAware(true) for parser com.caucho.xml.parsers.XmlDocumentBuilderFactory@d83
blackice1015的博客
11-24 1333
2015-11-24 13:44:27,027 [main] ERROR conf.Configuration (Configuration.java:2370) - Failed to set setXIncludeAware(true) for parser com.caucho.xml.parsers.XmlDocumentBuilderFactory@d83365:java.lang.UnsupportedOperationException: This parser does not su
hive启动元数据报错:org.apache.hadoop.conf.Configuration.getPassword(Ljava/lang/String；)[C
tutouxiaocaiji的博客
10-05 1335
或者在show databases时候报错：Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 在跟着尚硅谷数仓4.0视频学习的时候，所有都是按照视频中配置，hadoop版本为hadoop3.1.3,hive版本为hive3.1.2。之后就遇到了再启动hive服务之后，使用show databases,报错Unable to instantiate org.apache.hadoop.hive
Hbase安装后运行报错：ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing
qq_56638712的博客
11-14 1095
刚学hbase遇到的Master is initializing报错解决方法
Spark源码解析之org.apache.spark.deploy.SparkSubmit源码解析
攸的博客
01-20 1204
前面解读launch.main的时候已经了解了spark-submit的提交流程，这里大概看下流程。 当打jar提交到集群运行的时候，一般会设置一些参数，例如本地提交examples的SparkPi： spark-submit \ --class org.apache.spark.examples.SparkPi \ --master spark://192.168.2.1:7077 \ D...
7. Spark源码解析之org.apache.spark.deploy.SparkSubmit源码解析
L, there!
08-05 1798
前面解读launch.main的时候已经了解了spark-submit的提交流程，这里大概看下流程。 当打jar提交到集群运行的时候，一般会设置一些参数，例如本地提交examples的SparkPi： spark-submit \ --class org.apache.spark.examples.SparkPi \ --master spark://192.168.2.1:7077 \ D...
Hadoop3.1.3单机版安装Hive3.1.2(Redhat8.0)
落落的专栏 专注SQL调优 性能调优
05-06 2070
下载 Hive3.1.2并上传到 /tmp apache-hive-3.1.2-bin.tar.gz 下载 MySQL驱动并上传到 /tmp mysql-connector-java-5.1.48.tar.gz 安装MySQL8.0.19，在Redhat8.0上安装完MySQL8.0.19后，进入MySQL会报如下错误： [root@server ~]# mysql -uroot -p...
一日一坑之：hadoop3.x VS hive3.x
TianyeWang的博客
09-10 3377
最近安装了新版本的hadoop3.x版本，按照老思路此时需要安装hive3.x用来搭配我们崭新的hadoop，重新翻出来我的泛黄的hive2.x版本的安装说明书安装了一遍，就在此时坑来了。 坑一：FAILED: ParseException line 1:5 cannot recognize input near 'show' 'database' '<EOF>' in ddl st...
org.apache.hadoop.conf.Configuration无法引用 解决方法
weixin_30347009的博客
05-08 7409
我用的是Hadoop-common 2.6.4jar，可是明明包里面有这个类却引用不了，然后我看了下包里面是一个抽象类。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。 所以就换了一个2.7.0然后就可以引用了。 public class Configuration implements terable&...
Hive异常:报错:org.apache.hadoop.conf.Configuration.getPassword(Ljava/lang/String；)[C-解决问题同时搭建Hive环境
Philosophy7的博客
05-02 3647
解决Hive执行HQL异常一、问题分析二、解决问题1、将JDBC驱动拷入到Hive家目录下的lib目录2、在Hive家目录/conf创建一个hive-site.xml文件3、登录到MySQL创建数据库metastore4、初始化元数据库5 、启动Hadoop集群6、启动Hive 一、问题分析 当我们进入Hive Shell窗口时，执行HQL操作将会报错: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStore
hadoop 出现FATAL conf.Configuration: error parsing conf file，异常
u012516914的专栏
07-13 7373
FATAL conf.Configuration: error parsing conf file: com.sun.org.apache.xerces.internal.impl.io.MalformedByteSequenceException: Invalid byte 1 of 1-byte UTF-8 sequence. 14/07/12 23:51:40 ERROR namenode.
Apache Hadoop setXIncludeAware UnsupportedOperationException
jingjingliang02的专栏
02-08 549
编译软件没有问题，当项目启动时候却报了下面这个错误。 ERROR conf.Configuration: Failed to set setXIncludeAware(true) for parser org.apache.xerces.jaxp.DocumentBuilderFactoryImpl@2662e5cf:java.lang.UnsupportedOperationException...
问题解决：java运行HiveQL，报错：java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration
热门推荐
枫夜
06-17 1万+
使用Java编写HiveQL语句，然后通过jdbc的方式远程连接hive集群，并执行。在执行过程中，出现报错，其错误信息为：“java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration”。根据这个问题提示，按照步骤解决了问题，并整理成博文输出。
This parser does not support specification "null" version "null" 有关问题的处理
anzy/pine的博客
05-10 4047
今天项目奇怪的报 This parser does not support specification "null" version "null" 这个错 从网上查了一下是JDK中缺xerces.jar包（用于XML解析） 在Eclipse中报错如下： java.lang.UnsupportedOperationException: This parser does n
This parser does not support specification "null" version "null"
sinoyang的专栏
09-22 2663
今天在eclipse里面运行M/R的时候报这个错 12/09/22 12:17:53 ERROR conf.Configuration: Failed to set setXIncludeAware(true) for parser org.apache.xerces.jaxp.DocumentBuilderFactoryImpl@55571e:java.lang.UnsupportedOper
【ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializi】HBase单机模式意外退出导致后续创建崩溃的解决方法
qq_53383206的博客
04-30 3909
错误原因：按照林子雨的大数据教程搭建好Hbase环境后，我使用创建表和添加一些属性的命令，一开始非常正常，但是当我输入一个中文的时候，通过get命令显示的时候出现的十六进制编码，本质上是对的，但是我更加希望能得到语义信息更加明显的中文。我的理解是：强制退出导致hbase存储文件中出现了意外的错误标注，导致hbase无法写入这个文件，也无法读取这个文件，因为根据hbase设计原理，一个主机上的文件出现问题那么以后都不能使用这个主机的东西，如果需要使用，则需要较为复杂的配置。
Tomcat启动报错This parser dose not support specification null version null
doubleRighttt的博客
05-14 381
This parser dose not support specification “null” version “null” tomcat启动时报错This parser dose not support specification “null” version “null” 在jdk的安装路径下找xerces.jar包(例:D:jdk8.0/jre/lib/ext/xerces.jar)，放置到tomcat的lib目录下。 或者直接在maven repository下载 <dependenc
conf.Configuration: error parsing conf yarn-site.xml
最新发布
03-22
<think>好的，我现在需要帮用户解决解析yarn-site.xml配置文件时出现的错误，具体错误是“error parsing yarn-site.xml conf(Configuration)”。首先，我得回想一下Hadoop配置中常见的XML解析错误的原因。 用户提到引用了几个相关的错误，比如Configuration类找不到、配置文件的语法错误，比如未闭合的标签。比如引用[4]中的情况是hive-site.xml里configuration标签没有正确闭合，导致解析错误。这可能也是用户遇到的yarn-site.xml的问题所在。所以首先应该检查XML文件的语法是否正确，尤其是标签是否匹配，是否有未闭合的情况。 接下来，考虑用户可能遇到的问题步骤。首先，用户需要确认yarn-site.xml的结构是否正确，比如是否有正确的开始和结束标签。常见的错误可能包括拼写错误，比如把</configuration>写成</config>，或者标签嵌套错误。另外，特殊符号如&需要转义成&，这也是常见的错误点，引用[3]中提到的mapred-site.xml解析错误可能也是类似的问题。 然后，用户可能需要检查XML文件的编码和格式，比如是否使用了正确的UTF-8编码，是否有不可见的特殊字符。有时候从网上复制配置时，可能会带入奇怪的字符，导致解析失败。 另外，用户需要确认配置文件的位置是否正确，Hadoop的配置文件通常放在etc/hadoop目录下，如果文件放错位置，也会导致无法正确读取。引用[2]中提到的类找不到的问题，虽然和XML解析不同，但配置路径错误也可能导致类似问题，所以需要确认文件路径是否正确。 还可能涉及属性名称是否正确，属性值是否用引号括起来，比如<property>标签中的<name>和<value>是否正确，是否有缺少引号的情况。例如，正确的格式应该是： <property> <name>yarn.resourcemanager.hostname</name> <value>localhost</value> </property> 如果这里的value没有闭合标签，或者name拼写错误，就会导致解析错误。 另外，用户可能使用了IDE或文本编辑器，有时候这些工具会自动添加或修改缩进，导致XML结构问题。建议用户使用XML验证工具，比如xmllint，来检查文件的有效性。例如，运行xmllint yarn-site.xml可以快速发现语法错误。 最后，如果用户最近修改过配置文件，建议回退到之前的版本，看看是否问题依旧，以确定是否是最近的更改导致了错误。如果是，再逐步排查修改的部分。 总结可能的解决步骤：检查标签闭合、转义特殊字符、验证XML格式、确认文件位置、检查属性格式，使用工具验证。同时参考用户提供的引用[3]和[4]中的解决方案，因为它们都涉及XML配置错误，处理方式类似。</think>针对解析`yarn-site.xml`配置文件时出现的错误，以下是分步解决方案： --- ### **1. 检查XML语法完整性** - **问题原因**：XML标签未闭合、属性值未用引号包裹或存在非法字符（如`&`未转义为`&`）。 - **解决方案**： 1. 确保所有标签成对出现，例如`<configuration>`必须有对应的`</configuration>`结尾。 2. 检查所有属性值是否用双引号包裹，例如：`<value>"localhost:8032"</value>`。 3. 替换特殊符号：将`&`替换为`&`，`<`替换为`<`等[^3][^4]。 --- ### **2. 验证XML格式** - **问题原因**：配置文件存在隐藏的格式错误（如空格、换行符异常）。 - **解决方案**： 1. 使用命令行工具`xmllint`验证语法： ```bash xmllint --noout yarn-site.xml ``` 若输出`parses OK`表示文件无语法错误。 2. 使用IDE（如VSCode、IntelliJ）的XML插件自动高亮错误。 --- ### **3. 检查配置文件位置** - **问题原因**：Hadoop未正确读取`yarn-site.xml`文件。 - **解决方案**： 1. 确认文件位于Hadoop配置目录`$HADOOP_HOME/etc/hadoop/`中。 2. 检查环境变量`HADOOP_CONF_DIR`是否指向正确的配置目录[^2]。 --- ### **4. 排查属性定义** - **问题原因**：属性名称或值格式错误。 - **解决方案**： 1. 确保每个`<property>`包含且仅包含`<name>`和`<value>`子标签。 2. 示例正确格式： ```xml <configuration> <property> <name>yarn.resourcemanager.address</name> <value>localhost:8032</value> </property> </configuration> ``` --- ### **5. 回退最近更改** - **问题原因**：近期修改导致配置错误。 - **解决方案**： 1. 若错误在修改后出现，用版本控制工具（如Git）回退到可用版本。 2. 逐段注释新增配置，定位具体错误位置。 --- ### **6. 检查Hadoop日志** - **问题原因**：更详细的错误信息可能记录在日志中。 - **解决方案**： 1. 查看Hadoop日志文件（通常位于`$HADOOP_HOME/logs/`）。 2. 搜索关键词`ERROR`或`yarn-site.xml`定位具体报错行。 --- ### **示例修复案例** **错误配置**： ```xml <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle&</value> <!-- &未转义 --> </property> </configuration> ``` **修复后**： ```xml <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle&</value> <!-- &替代& --> </property> </configuration> ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值