在运行hadoopdb\hive\hadoop源码时不能正确调用自定义core-site.xml等配置文件

最新推荐文章于 2022-08-31 18:20:53 发布
最新推荐文章于 2022-08-31 18:20:53 发布
阅读量4.1k 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/duguduchong/article/details/8991654
版权
在运行HadoopDB、Hive或Hadoop源码时，测试程序可能无法正确加载conf路径下新定义的配置文件，而仅使用jar包中的默认配置。解决方案是在项目或应用的classpath中添加conf文件路径，通过调整ClassLoader，确保自定义配置覆盖默认配置，从而使得configuration类能够读取到新增的资源。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一 前言

在hadoopdb\hive\hadoop源码中，会有很多的测试主程序 ，而这些测试主程序通常都要用到configuration,即

new JobConf(conf)时初始化configuration对象，如果直接运行这些程序 ，可能会出现

只读取jar包中的配置文件 ，并不读取在conf路径下重新定义的新配置文件。


二 解决方案

记得在项目的classpath中添加conf文件 路径，或在应用程序的classpath中添加conf文件路径 

以configuration测试用例做说明：

org.apache.hadoop.conf.configuration类提供了一个专门用做测试的 main函数

1.在run->debug configurations ...  对话框左侧边栏找到java application，双击java application,会提示 创建新的调试程序 。

将Name 为congfiguration,主程序选择org.apache.hadoop.conf.Configuration，点击 debug

会输出以下默认信息

<?xml version="1.0" encoding="UTF-8" standalone="no"?><configuration>
<property><name>fs.file.impl</name><value>org.apache.hadoop.fs.LocalFileSystem</value></property>
<property><name>hadoop.logfile.count</name><value>10</value></property>
<property><name>fs.har.impl.disable.cache</name><value>true</value></property>
<property><name>ipc.client.kill.max</name><value>10</value></property>
<property><name>fs.s3n.impl</name><value>org.apache.hadoop.fs.s3native.NativeS3FileSystem</value></property>
<property><name>io.mapfile.bloom.size</name><value>1048576</value></property>
<property><name>fs.s3.sleepTimeSeconds</name><value>10</value></property>
<property><name>fs.s3.block.size</name><value>67108864</value></property>
<property><name>fs.kfs.impl</name><value>org.apache.hadoop.fs.kfs.KosmosFileSystem</value></property>
<property><name>ipc.server.listen.queue.size</name><value>128</value></property>
<property><name>hadoop.util.hash.type</name><value>murmur</value></property>
<property><name>ipc.client.tcpnodelay</name><value>false</value></property>
<property><name>io.file.buffer.size</name><value>4096</value></property>
<property><name>fs.s3.buffer.dir</name><value>${hadoop.tmp.dir}/s3</value></property>
<property><name>hadoop.tmp.dir</name><value>/tmp/hadoop-${user.name}</value></property>
<property><name>fs.trash.interval</name><value>0</value></property>
<property><name>io.seqfile.sorter.recordlimit</name><value>1000000</value></property>
<property><name>fs.ftp.impl</name><value>org.apache.hadoop.fs.ftp.FTPFileSystem</value></property>
<property><name>fs.checkpoint.size</name><value>67108864</value></property>
<property><name>fs.checkpoint.period</name><value>3600</value></property>
<property><name>fs.hftp.impl</name><value>org.apache.hadoop.hdfs.HftpFileSystem</value></property>
<property><name>hadoop.native.lib</name><value>true</value></property>
<property><name>fs.hsftp.impl</name><value>org.apache.hadoop.hdfs.HsftpFileSystem</value></property>
<property><name>ipc.client.connect.max.retries</name><value>10</value></property>
<property><name>fs.har.impl</name><value>org.apache.hadoop.fs.HarFileSystem</value></property>
<property><name>fs.s3.maxRetries</name><value>4</value></property>
<property><name>topology.node.switch.mapping.impl</name><value>org.apache.hadoop.net.ScriptBasedMapping</value></property>
<property><name>hadoop.logfile.size</name><value>10000000</value></property>
<property><name>fs.checkpoint.dir</name><value>${hadoop.tmp.dir}/dfs/namesecondary</value></property>
<property><name>fs.checkpoint.edits.dir</name><value>${fs.checkpoint.dir}</value></property>
<property><name>topology.script.number.args</name><value>100</value></property>
<property><name>fs.s3.impl</name><value>org.apache.hadoop.fs.s3.S3FileSystem</value></property>
<property><name>ipc.client.connection.maxidletime</name><value>10000</value></property>
<property><name>io.compression.codecs</name><value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec</value></property>
<property><name>ipc.server.tcpnodelay</name><value>false</value></property>
<property><name>io.serializations</name><value>org.apache.hadoop.io.serializer.WritableSerialization</value></property>
<property><name>ipc.client.idlethreshold</name><value>4000</value></property>
<property><name>fs.hdfs.impl</name><value>org.apache.hadoop.hdfs.DistributedFileSystem</value></property>
<property><name>io.bytes.per.checksum</name><value>512</value></property>
<property><name>io.mapfile.bloom.error.rate</name><value>0.005</value></property>
<property><name>io.seqfile.lazydecompress</name><value>true</value></property>
<property><name>local.cache.size</name><value>10737418240</value></property>
<property><name>hadoop.security.authorization</name><value>false</value></property>
<property><name>hadoop.rpc.socket.factory.class.default</name><value>org.apache.hadoop.net.StandardSocketFactory</value></property>
<property><name>io.skip.checksum.errors</name><value>false</value></property>
<property><name>io.seqfile.compress.blocksize</name><value>1000000</value></property>
<property><name>fs.ramfs.impl</name><value>org.apache.hadoop.fs.InMemoryFileSystem</value></property>
<property><name>webinterface.private.actions</name><value>false</value></property>
<property><name>fs.default.name</name><value>file:///</value></property>
</configuration>
2.打开debug configurations ...  对话框，在configuration 调试程序classpath选项卡中加入$HADOOP_HOME/conf文件夹。如果在conf文件 中有自定义的配置文件

就会在下面的输出中看到自定义配置覆盖了默认配置。

<?xml version="1.0" encoding="UTF-8" standalone="no"?><configuration>
<property><name>hadoopdb.config.replication</name><value>false</value></property>
<property><name>fs.file.impl</name><value>org.apache.hadoop.fs.LocalFileSystem</value></property>
<property><name>hadoop.logfile.count</name><value>10</value></property>
<property><name>fs.har.impl.disable.cache</name><value>true</value></property>
<property><name>ipc.client.kill.max</name><value>10</value></property>
<property><name>fs.s3n.impl</name><value>org.apache.hadoop.fs.s3native.NativeS3FileSystem</value></property>
<property><name>io.mapfile.bloom.size</name><value>1048576</value></property>
<property><name>fs.s3.sleepTimeSeconds</name><value>10</value></property>
<property><name>fs.s3.block.size</name><value>67108864</value></property>
<property><name>fs.kfs.impl</name><value>org.apache.hadoop.fs.kfs.KosmosFileSystem</value></property>
<property><name>ipc.server.listen.queue.size</name><value>128</value></property>
<property><name>hadoop.util.hash.type</name><value>murmur</value></property>
<property><name>ipc.client.tcpnodelay</name><value>false</value></property>
<property><name>io.file.buffer.size</name><value>4096</value></property>
<property><name>fs.s3.buffer.dir</name><value>${hadoop.tmp.dir}/s3</value></property>
<property><name>hadoop.tmp.dir</name><value>/tmp/hadoop-${user.name}</value></property>
<property><name>fs.trash.interval</name><value>0</value></property>
<property><name>io.seqfile.sorter.recordlimit</name><value>1000000</value></property>
<property><name>fs.ftp.impl</name><value>org.apache.hadoop.fs.ftp.FTPFileSystem</value></property>
<property><name>fs.checkpoint.size</name><value>67108864</value></property>
<property><name>fs.checkpoint.period</name><value>3600</value></property>
<property><name>fs.hftp.impl</name><value>org.apache.hadoop.hdfs.HftpFileSystem</value></property>
<property><name>hadoopdb.fetch.size</name><value>1000</value></property> #变化部分
<property><name>hadoop.native.lib</name><value>true</value></property>
<property><name>fs.hsftp.impl</name><value>org.apache.hadoop.hdfs.HsftpFileSystem</value></property>
<property><name>ipc.client.connect.max.retries</name><value>10</value></property>
<property><name>fs.har.impl</name><value>org.apache.hadoop.fs.HarFileSystem</value></property>
<property><name>fs.s3.maxRetries</name><value>4</value></property>
<property><name>topology.node.switch.mapping.impl</name><value>org.apache.hadoop.net.ScriptBasedMapping</value></property>
<property><name>hadoop.logfile.size</name><value>10000000</value></property>
<property><name>fs.checkpoint.dir</name><value>${hadoop.tmp.dir}/dfs/namesecondary</value></property>
<property><name>fs.checkpoint.edits.dir</name><value>${fs.checkpoint.dir}</value></property>
<property><name>topology.script.number.args</name><value>100</value></property>  #被新值覆盖
<property><name>fs.s3.impl</name><value>org.apache.hadoop.fs.s3.S3FileSystem</value></property>
<property><name>ipc.client.connection.maxidletime</name><value>10000</value></property>
<property><name>io.compression.codecs</name><value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec</value></property>
<property><name>hadoopdb.config.file</name><value>HadoopDB.xml</value></property>   #添加新属性
<property><name>ipc.server.tcpnodelay</name><value>false</value></property>
<property><name>io.serializations</name><value>org.apache.hadoop.io.serializer.WritableSerialization</value></property>
<property><name>ipc.client.idlethreshold</name><value>4000</value></property>
<property><name>fs.hdfs.impl</name><value>org.apache.hadoop.hdfs.DistributedFileSystem</value></property>
<property><name>io.bytes.per.checksum</name><value>512</value></property>
<property><name>io.mapfile.bloom.error.rate</name><value>0.005</value></property>
<property><name>io.seqfile.lazydecompress</name><value>true</value></property>
<property><name>local.cache.size</name><value>10737418240</value></property>
<property><name>hadoop.security.authorization</name><value>false</value></property>
<property><name>hadoop.rpc.socket.factory.class.default</name><value>org.apache.hadoop.net.StandardSocketFactory</value></property>
<property><name>io.skip.checksum.errors</name><value>false</value></property>
<property><name>io.seqfile.compress.blocksize</name><value>1000000</value></property>
<property><name>fs.ramfs.impl</name><value>org.apache.hadoop.fs.InMemoryFileSystem</value></property>
<property><name>webinterface.private.actions</name><value>false</value></property>
<property><name>fs.default.name</name><value>hdfs://localhost:9000</value></property> #被新值覆盖
</configuration>

三 总结

这种情况是因为在configuration类内部，对资源 的读取采用以下方式

    ClassLoader cL = Thread.currentThread().getContextClassLoader();
    if (cL == null) {
      cL = Configuration.class.getClassLoader();
    }

然后 使用cL.getResource("XXX.xml")来获取资源，这些资源 都是存放在类所在路径 的根目录 中的

如

|-com.cn.test
                  |-Test.class
                  |-test2.txt 
|-test1.txt

com.cn.test.class.getClassLoader.getResource("test1.txt") 返回test1.txt

com.cn.test.class.getClassLoader.getResource("test2.txt")返回null


此时，如果要在增加其它 的资源 ，可以在classpath中加入其它路径。



duguduchong
关注
dolphinscheduler 报错: core-site.xml not found
weixin_45082972的博客
05-08 470
日志的最后一行提示,每当 dolphinscheduler执行的时候就会加载 dolphinscheduler_env.sh脚本环境,所以我进入提示的脚本环境查看。**我执行之前已经配置了环境变量,还是报错, 经过查找 dolphinscheduler 的worker日志发现问题 **我使用的是shell 的datax的模式,通过 dolphinscheduler 来调度。重跑了工作流,执行成功,目录成功创建,数据集也同步成功。已经正常执行,日志也正常。
core-site.xml not found
在服务器上挂载OSS_bucket
12-22 1441
1、报错 [root@cdh1 /]# su hdfs [hdfs@cdh1 /]$ hadoop fs -ls /user/hue/test [hdfs@cdh1 /]$ Exception in thread "main" java.lang.RuntimeException: core-site.xml not found at org.apache.hadoop.conf.Configuration.loadResource(Configuration.java:2657)
hadoop 2.7.3 java_java - Hadoop 2.7.3 Java运行时错误 - 找不到core-site.xml - 堆栈内存溢出...
weixin_34870633的博客
02-23 319
运行hdfs dfs -mkdir /abc出现以下错误。Exception in thread "main" java.lang.RuntimeException: core-site.xml not foundat org.apache.hadoop.conf.Configuration.loadResource(Configuration.java:2577)at org.apache.ha...
Hadoop出现core-site.xml not found的解决办法
热门推荐
Machine Learning with Tutors
05-27 1万+
27-33行都是为了避免可能的报错而增加的几个path变量（其实不加也没事），最主要的是要修改最后一行那个HADOOP_CONF_DIR 变量为自己的Hadoop目录（默认是个错误的路径所以会跳错）提示说core-site.xml找不到。当时很奇怪，因为明明才更新了这个文件的配置，增加了几个进去。再次运行命令，一切正常。
HadoopDB-开源
05-09
HadoopDB是一个创新的开源项目，它结合了并行数据库管理系统（PDBMS）的高效性能和Apache Hadoop的分布式处理能力，旨在提供一个既具备高性能又具有良好扩展性的解决方案。这个项目的诞生，是为了应对大数据处理中对...
hadoopdb.pdf
05-21
HadoopDB 的创新之处在于，它利用了 Hadoop 的分布式存储和计算能力，同时集成了传统数据库的查询处理和优化技术，从而在保持 MapReduce 高度容错性和可扩展性的基础上，大幅提升了处理速度和效率。
hadoopdb.sql
07-01
hadoopdb.sql
hadoop++.pdf
02-11
文中提到的实验结果展示了Hadoop++在索引创建和连接处理等任务上的优越性，不仅超越了原始的Hadoop，也超过了HadoopDB（一个将关系型数据库特性整合到Hadoop中的系统）。这表明Hadoop++在保持现有Hadoop生态系统的...
Hadoop之MongoDB（安装、配置、数据库操作）
qq494370的博客
04-14 2098
MongoDB数据库 1. 理论知识 （1）数据库分类 数据库主要分成两种： 关系型数据库 MySQL、Oracle、DB2、SQL Server …… 关系数据库中全都是表 非关系型数据库 MongoDB、Redis …… 键值对数据库 文档数据库MongoDB （2）MongoDB简介 MongoDB是为快速开发互联网Web应用 而设计的数据库系统。 MongoDB的设计目标是极简、灵活、作为...
HadoopHA高可用集群配置 core-site.xml
07-07
HadoopHA高可用集群配置 core-site.xml
Hadoop源码分析之Configuration
东方吹雪的专栏
12-13 3442
org.apache.hadoop.conf.Configuration类是Hadoop所有功能的基础类，每一种功能执行之前都需要有先得到一个Configuration对象。Hadoop使用了XML文件作为配置文件，来保存运行时的配置信息，然后将配置加载到Configuration对象中，要使用配置信息时直接从Configuration对象中取。 Hadoop配置文件 将下载的Hadoop
Hadoop启动错误: log4j.properties is not found...core-site.xml not found的解决办法
jaysen1005的博客
03-05 1万+
描述：在禁用CDH集群的Kerberos认证后，进行服务功能验证,查看HDFS文件系统时出现core-site.xml找不到错误 [root@utility ~]# hadoop fs -ls / WARNING: log4j.properties is not found. HADOOP_CONF_DIR may be incomplete. Exception in thread "mai...
没有启动起hadoop，是core-site。xml的hadoop.tmp.dir没有设
开心算法
04-09 2066
这就对了 [lngz@LionmatoMacBook-Pro ~/hadoop]$ cat conf/core-site.xml              fs.default.name          hdfs://localhost:9000                    hadoop.tmp.dir           /Use
Hadoop3.2.2集群在两台Linux上搭建（一台Ubuntu18.04,CentOS7.x）
weixin_42294118的博客
01-02 1757
1. 环境需求： Ubuntu18.01 192.168.31.9 host-gpu namenode + secondarynamenode Centos7 192.168.31.10 host-cpu resourcemanager 注意：一般centos装系统之后是：localhost，一定要修改过来，不然后面需要免密ssh的时候就会有大坑 需求集群需求列表，一般都是3台机器，但是由于我目前只有两台机器，所以就把把secondarynamenode与namenode放在一起
python调用hadoop_hadoop,python_执行hadoop fs -ls 如下命令报错了:，hadoop,python,java - phpStudy...
weixin_39662611的博客
12-10 411
执行hadoop fs -ls 如下命令报错了:[root@HTY2-1 data]# hadoop fs -lsException in thread “main” java.lang.RuntimeException: core-site.xml not foundat org.apache.hadoop.conf.Configuration.loadResource(Configuratio...
访问hdfs地址报错：java.io.IOException: Incomplete HDFS URI, no host: hdfs:
succeedloveaaaa的专栏
12-21 6773
详细错误：Caused by: java.io.IOException: Incomplete HDFS URI, no host: hdfs:/test/conf/test.xml 这个错误原因是缺少hadoop配置文件，将hadoop对应的配置（hdfs-site、core-site）文件加入到程序的classpath即可
按照《Hadoop安装教程_伪分布式配置_CentOS6.4/Hadoop2.6.0》可能会出现的问题
ZMC2822846684的博客
08-31 1670
命令即可(成功解决我的问题，毕竟出现的情况可能不一样))-------得重新下载一个java8以上版本的。下载完成之后再进行java jdk配置。因为虚拟机开始只有java JRE。”令退到最初位置，接着输入"这是进入的文件夹目录不对。参考命令：下载jdk8。...
hadoop配置文件详解系列（一）-core-site.xml篇
bingque6535的博客
01-07 4287
属性名称 属性值 描述 hadoop.common.configuration. version 0.23.0 配置文件的版本。 hadoop.tmp.dir /tmp/hadoop-${user.name} ...
Hadoop集群下MySQL初始化设置的语句
最新发布
11-08
在Hadoop集群环境下部署MySQL通常需要特殊配置，因为Hadoop主要设计用于处理大规模数据集，而MySQL更适合做单机数据库应用。以下是Hadoop和MySQL结合时可能涉及到的一些初始化设置语句： 1. **环境变量配置**： - 首先，你需要在Hadoop的`core-site.xml`或`hdfs-site.xml`文件中配置环境变量，比如:`export MYSQL_HOME`指定MySQL安装路径。 2. **启动MySQL服务**： - 如果在Hadoop的守护进程（如YARN或MapReduce）中运行MySQL，可以使用类似 `nohup /path/to/mysql-server start &` 的命令异步启动。 3. **安全模式**： - 启动时添加`--skip-grant-tables`选项，允许无密码访问，以便在集群上初始设置用户和权限。之后再启用安全模式。 4. **创建用户和数据库**： ```sql CREATE DATABASE hadoopdb; GRANT ALL PRIVILEGES ON hadoopdb.* TO 'hadoopuser'@'%' IDENTIFIED BY 'your_password'; FLUSH PRIVILEGES; ``` 5. **修改my.cnf**： - 可能需要调整my.cnf中的`bind-address`为`0.0.0.0`以允许远程连接，同时增加`innodb_file_per_table`等配置以支持大数据需求。 6. **复制数据目录**： - 在Hadoop中，MySQL的数据存储位置应适合HDFS的分布式架构，可能需要将数据目录挂载到HDFS中。 请注意，实际操作时，由于安全性和性能考虑，最好是在专门管理Hadoop数据的节点上单独部署MySQL服务器，并避免直接在生产环境中执行上述步骤。在生产环境中，通常会通过容器化技术（如Docker或Kubernetes）进行部署。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值