hadoop.common：InterfaceAudience

最新推荐文章于 2022-04-14 10:13:48 发布
原创 最新推荐文章于 2022-04-14 10:13:48 发布 · 150 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Hadoop #Blog

本文介绍了Hadoop中InterfaceAudience和InterfaceStability两个类所包含的注解，这些注解用于标识类和方法的受众范围及稳定性，有助于理解Hadoop API的设计原则。

转：http://shuofenglxy.iteye.com/blog/935597

InterfaceAudience 类包含三个注解类型，用来被说明被他们注解的类型的潜在的使用范围（audience）。
         @InterfaceAudience.Public： 对所有工程和应用可用
         @InterfaceAudience.LimitedPrivate： 仅限于某些特定工程，如Comomn，HDFS等
         @InterfaceAudience.Private： 仅限于Hadoop

     InterfaceStability 类包含三个注解，用于说明被他们注解的类型的稳定性。
         @InterfaceStability.Stable： 主版本是稳定的，不同主版本间可能不兼容
         @InterfaceStability.Evolving： 不断变化，不同次版本间可能不兼容
         @InterfaceStability.Unstable： 没有任何可靠性和健壮性保证

 

主要是用来标示一些类和方法

java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO错误的处理方法，适用于hadoop3.1.3
weixin_51273963的博客
07-03 5632
hadoop3.1.3、java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.Nativ、idea
Hadoop报错Caused by: java.io.IOException: Stream closed问题
wangkuangood3200的专栏
11-10 4164
【问题现象】 这几天离线计算平台有个别计算作业运行失败，排查原因，查看平台日志，报错关键信息如下： WARNING: Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.Error: org.apache.hive.s
Hive_UDF开发指南
热门推荐
迎难而上
07-16 1万+
最近在看 《Hive 编程指南》 其中提到了对Hive 自定义函数的几种扩展， 对于我们日常开发，这个功能还是非常有用的。 打算细致的研究一下，这里我们将研究结果整理成博客，方便大家理解 ： 参考文章： Hive UDF教程（一） https://blog.csdn.net/u010376788/article/details/50532166 ...
hadoop 注解之 interfaceAudience interfaceStability
bitcarmanlee的博客
05-14 4903
在阅读hadoop相关源码的过程中，经常见到类似@InterfaceAudience.Public @InterfaceStability.Stable之类的标识。特意查阅了一下相关资料，在此做一个小结InterfaceAudienceInterfaceAudience 类包含有三个注解类型，用来说明被他们注解的类型的潜在使用范围，即audienceInterfaceAudience的源码如下/*
Hadoop注解InterfaceAudience InterfaceStability
大数据进阶之路
11-17 352
Hadoop注解InterfaceAudience InterfaceStabilityHadoop注解InterfaceAudience InterfaceStability1. InterfaceAudience2. InterfaceStability Hadoop注解InterfaceAudience InterfaceStability 最近学习Hadoop时，看到InputFormat...
ava.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/Str
莫韵专栏
04-14 665
Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z at org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Native Method) at org.apache.hadoop.io.nativeio.NativeIO$Wi.
idea中Exception in thread “main“ java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.Native
qq_56572867的博客
04-02 981
这个困扰了我三天的问题，之前已经不想解决了，直到再一次遇到，决定彻底干它，之前也在网上搜了一些解决它的办法，什么改变环境还有加入NativeIO，都没有用，不过最后还是使用了NativeIO的方法解决了，之前一直没有用的原因是，没有把文件放对位置 正确的位置应该是放在java包下，和项目包并行，而且必须是这个包名org.apache.hadoop.io.nativeio和NativeIO这个类名，不然不能覆盖原来的这个类 下面附上NativeIO的源码，有的包可能要自己引一下，细节上应该不用说了
错误Exception in thread “main“ java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO
m0_60318777的博客
11-18 5749
问题描述 hadoop在本地执行MapReduce出现了如下相关异常：Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO 解决办法 1.创建一个包名为org.apache.hadoop.io.nativeio的包 2.在这个包下创建一个名为NativeIO.java的类 3.加入以下代码 /** * Licensed to the Ap.
【Hadoop源码】注解： InterfaceAudience和InterfaceStability
diyinqian的博客
04-25 1230
这两个注解主要是用来标示一些类和方法。 InterfaceAudience 类包含三个注解类型，用来被说明被他们注解的类潜在的使用范围（audience）。 @InterfaceAudience.Public： 对所有工程和应用可用 @InterfaceAudience.LimitedPrivate： 仅限于某些特定工程，如YARN，MapReduce等 @InterfaceAudience...
MapReduce报错Exception in thread “main“ java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio
fengjinghong的博客
11-02 1495
参考文章：https://blog.csdn.net/weixin_42229056/article/details/82686172 报错信息如下： Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z at org.apache.hadoop.io.nativeio.Nativ
MapReduce报错Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio
weixin_42229056的博客
09-13 1万+
在使用MapReduce的小测试的时候，Driver类启动，或报下面的错误 log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). log4j:WARN Please initialize the log4j system properl...
数据完整性和数据一致性
caoruntaogmail的博客
03-11 4679
数据完整性是指存储在数据库中的所有数据值均正确的状态。如果数据库中存储有不正确的数据值，则该数据库称为已丧失数据完整性。     数据一致性是指关联数据之间的逻辑关系是否正确和完整。问题可以理解为应用程序自己认为的数据状态与最终写入到磁盘中的数据状态是否一致。比如一个事务操作，实际发出了五个写操作，当系统把前面三个写操作的数据成功写入磁盘以后，系统突然故障，导致后面两个写操作没有写入磁...
运行Hadoop权威指南中的例子：3.5.2：FileSystemCat
caoruntaogmail的博客
04-10 468
1、编写代码： package crt.hadoop.test; import java.io.InputStream; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoo...
FQDN
caoruntaogmail的博客
06-07 421
全域名（FQDN，Fully Qualified Domain Name）是指主机名加上全路径，全路径中列出了序列中所有域成员。全域名可以从逻辑上准确地表示出主机在什么地方，也可以说全域名是主机名的一种完全表示形式。从全域名中包含的信息可以看出主机在域名树中的位置。例如，acmecompany公司的Web服务器的全域名可以是www. acmecompany. com，而若WWW主机是在销售部子域，...
Nagle's Algorithm
caoruntaogmail的博客
06-07 347
Nagle算法是以他的发明人John Nagle的名字命名的，它用于自动连接许多的小缓冲器消息；这一过程（称为nagling）通过减少必须发送包的个数来增加网络软件系统的效率。Nagle算法于1984年定义为福特航空和通信公司IP/TCP拥塞控制方法，这是福特经营的最早的专用TCP/IP 网络减少拥塞控制，从那以后这一方法得到了广泛应用。Nagle的文档里定义了处理他所谓的小包问题的方法，这种问题...
使用eclipse插件进行mapreduce程序开发和运行
caoruntaogmail的博客
05-10 309
一、环境说明 linux：redhat enterprise linux 5 hadoop：0.20.2 eclipse：3.4.2 jdk：1.6.21 ant：1.8.2   二、安装hadoop伪分布式   三、安装eclipse 把eclipse-SDK-3.4.2-linux-gtk.tar.gz解压到/home/hadoop/eclipse3.4.2   四、安...
KB,MB,GB,TB,PB,EB,ZB,YB
caoruntaogmail的博客
03-31 282
KB ，2 的 10 次方 ： 1024   BYTE.MB ，2 的 20 次方 ：  1048576 BYTE, 或 1024 KB.GB ，2 的 30 次方 ：  1073741824 BYTE, 或 1024 MB.TB ，2 的 40 次方 ：  1099511627776 BYTE, 或 1024 GB.PB ，2 的 50 次方 ：   1125899906842624 BYTE,...
AspectJ
caoruntaogmail的博客
03-30 272
AspectJ是一个面向切面的框架，它扩展了Java语言。AspectJ定义了AOP语法所以它有一个专门的编译器用来生成遵守Java字节编码规范的Class文件.
运行Hadoop权威指南中的例子：3.5.3：FileCopyWithProgress
caoruntaogmail的博客
04-10 239
1、编写代码： package crt.hadoop.test; import java.io.BufferedInputStream; import java.io.FileInputStream; import java.io.InputStream; import java.io.OutputStream; import java.net.URI; import org...
[root@master conf]# vim /export/server/hadoop/etc/hadoop/core-site.xml [1]+ 退出 1 nohup /export/server/hive/bin/hive --service metastore > /export/server/hive/logs/metastore.log 2>&1 [root@master conf]# beeline SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/export/server/hive/lib/log4j-slf4j-impl-2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/export/server/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory] SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/export/server/hive/lib/log4j-slf4j-impl-2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/export/server/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory] 25/10/23 23:42:40 [main]: ERROR conf.Configuration: error parsing conf core-site.xml com.ctc.wstx.exc.WstxParsingException: Unexpected close tag </name>; expected </me>. at [row,col,system-id]: [1,37,"file:/export/server/hadoop/etc/hadoop/core-site.xml"] at com.ctc.wstx.sr.StreamScanner.constructWfcException(StreamScanner.java:621) ~[woodstox-core-5.0.3.jar:5.0.3] at com.ctc.wstx.sr.StreamScanner.throwParseError(StreamScanner.java:491) ~[woodstox-core-5.0.3.jar:5.0.3] at com.ctc.wstx.sr.StreamScanner.throwParseError(StreamScanner.java:475) ~[woodstox-core-5.0.3.jar:5.0.3] at com.ctc.wstx.sr.BasicStreamReader.reportWrongEndElem(BasicStreamReader.java:3365) ~[woodstox-core-5.0.3.jar:5.0.3] at com.ctc.wstx.sr.BasicStreamReader.readEndElem(BasicStreamReader.java:3292) ~[woodstox-core-5.0.3.jar:5.0.3] at com.ctc.wstx.sr.BasicStreamReader.nextFromTree(BasicStreamReader.java:2911) ~[woodstox-core-5.0.3.jar:5.0.3] at com.ctc.wstx.sr.BasicStreamReader.next(BasicStreamReader.java:1123) ~[woodstox-core-5.0.3.jar:5.0.3] at org.apache.hadoop.conf.Configuration$Parser.parseNext(Configuration.java:3320) ~[hadoop-common-3.1.3.jar:?] at org.apache.hadoop.conf.Configuration$Parser.parse(Configuration.java:3114) ~[hadoop-common-3.1.3.jar:?] at org.apache.hadoop.conf.Configuration.loadResource(Configuration.java:3007) [hadoop-common-3.1.3.jar:?] at org.apache.hadoop.conf.Configuration.loadResources(Configuration.java:2968) [hadoop-common-3.1.3.jar:?] at org.apache.hadoop.conf.Configuration.getProps(Configuration.java:2848) [hadoop-common-3.1.3.jar:?] at org.apache.hadoop.conf.Configuration.get(Configuration.java:1200) [hadoop-common-3.1.3.jar:?] at org.apache.hadoop.conf.Configuration.getTimeDuration(Configuration.java:1812) [hadoop-common-3.1.3.jar:?] at org.apache.hadoop.conf.Configuration.getTimeDuration(Configuration.java:1789) [hadoop-common-3.1.3.jar:?] at org.apache.hadoop.util.ShutdownHookManager.getShutdownTimeout(ShutdownHookManager.java:183) [hadoop-common-3.1.3.jar:?] at org.apache.hadoop.util.ShutdownHookManager$HookEntry.<init>(ShutdownHookManager.java:207) [hadoop-common-3.1.3.jar:?] at org.apache.hadoop.util.ShutdownHookManager.addShutdownHook(ShutdownHookManager.java:304) [hadoop-common-3.1.3.jar:?] at org.apache.hadoop.util.RunJar.run(RunJar.java:297) [hadoop-common-3.1.3.jar:?] at org.apache.hadoop.util.RunJar.main(RunJar.java:232) [hadoop-common-3.1.3.jar:?] Exception in thread "main" java.lang.RuntimeException: com.ctc.wstx.exc.WstxParsingException: Unexpected close tag </name>; expected </me>. at [row,col,system-id]: [1,37,"file:/export/server/hadoop/etc/hadoop/core-site.xml"] at org.apache.hadoop.conf.Configuration.loadResource(Configuration.java:3024) at org.apache.hadoop.conf.Configuration.loadResources(Configuration.java:2968) at org.apache.hadoop.conf.Configuration.getProps(Configuration.java:2848) at org.apache.hadoop.conf.Configuration.get(Configuration.java:1200) at org.apache.hadoop.conf.Configuration.getTimeDuration(Configuration.java:1812) at org.apache.hadoop.conf.Configuration.getTimeDuration(Configuration.java:1789) at org.apache.hadoop.util.ShutdownHookManager.getShutdownTimeout(ShutdownHookManager.java:183) at org.apache.hadoop.util.ShutdownHookManager$HookEntry.<init>(ShutdownHookManager.java:207) at org.apache.hadoop.util.ShutdownHookManager.addShutdownHook(ShutdownHookManager.java:304) at org.apache.hadoop.util.RunJar.run(RunJar.java:297) at org.apache.hadoop.util.RunJar.main(RunJar.java:232) Caused by: com.ctc.wstx.exc.WstxParsingException: Unexpected close tag </name>; expected </me>. at [row,col,system-id]: [1,37,"file:/export/server/hadoop/etc/hadoop/core-site.xml"] at com.ctc.wstx.sr.StreamScanner.constructWfcException(StreamScanner.java:621) at com.ctc.wstx.sr.StreamScanner.throwParseError(StreamScanner.java:491) at com.ctc.wstx.sr.StreamScanner.throwParseError(StreamScanner.java:475) at com.ctc.wstx.sr.BasicStreamReader.reportWrongEndElem(BasicStreamReader.java:3365) at com.ctc.wstx.sr.BasicStreamReader.readEndElem(BasicStreamReader.java:3292) at com.ctc.wstx.sr.BasicStreamReader.nextFromTree(BasicStreamReader.java:2911) at com.ctc.wstx.sr.BasicStreamReader.next(BasicStreamReader.java:1123) at org.apache.hadoop.conf.Configuration$Parser.parseNext(Configuration.java:3320) at org.apache.hadoop.conf.Configuration$Parser.parse(Configuration.java:3114) at org.apache.hadoop.conf.Configuration.loadResource(Configuration.java:3007) ... 10 more 25/10/23 23:42:40 [Thread-1]: ERROR conf.Configuration: error parsing conf core-site.xml com.ctc.wstx.exc.WstxParsingException: Unexpected close tag </name>; expected </me>. at [row,col,system-id]: [1,37,"file:/export/server/hadoop/etc/hadoop/core-site.xml"] at com.ctc.wstx.sr.StreamScanner.constructWfcException(StreamScanner.java:621) ~[woodstox-core-5.0.3.jar:5.0.3] at com.ctc.wstx.sr.StreamScanner.throwParseError(StreamScanner.java:491) ~[woodstox-core-5.0.3.jar:5.0.3] at com.ctc.wstx.sr.StreamScanner.throwParseError(StreamScanner.java:475) ~[woodstox-core-5.0.3.jar:5.0.3] at com.ctc.wstx.sr.BasicStreamReader.reportWrongEndElem(BasicStreamReader.java:3365) ~[woodstox-core-5.0.3.jar:5.0.3] at com.ctc.wstx.sr.BasicStreamReader.readEndElem(BasicStreamReader.java:3292) ~[woodstox-core-5.0.3.jar:5.0.3] at com.ctc.wstx.sr.BasicStreamReader.nextFromTree(BasicStreamReader.java:2911) ~[woodstox-core-5.0.3.jar:5.0.3] at com.ctc.wstx.sr.BasicStreamReader.next(BasicStreamReader.java:1123) ~[woodstox-core-5.0.3.jar:5.0.3] at org.apache.hadoop.conf.Configuration$Parser.parseNext(Configuration.java:3320) ~[hadoop-common-3.1.3.jar:?] at org.apache.hadoop.conf.Configuration$Parser.parse(Configuration.java:3114) ~[hadoop-common-3.1.3.jar:?] at org.apache.hadoop.conf.Configuration.loadResource(Configuration.java:3007) [hadoop-common-3.1.3.jar:?] at org.apache.hadoop.conf.Configuration.loadResources(Configuration.java:2968) [hadoop-common-3.1.3.jar:?] at org.apache.hadoop.conf.Configuration.getProps(Configuration.java:2848) [hadoop-common-3.1.3.jar:?] at org.apache.hadoop.conf.Configuration.get(Configuration.java:1200) [hadoop-common-3.1.3.jar:?] at org.apache.hadoop.conf.Configuration.getTimeDuration(Configuration.java:1812) [hadoop-common-3.1.3.jar:?] at org.apache.hadoop.conf.Configuration.getTimeDuration(Configuration.java:1789) [hadoop-common-3.1.3.jar:?] at org.apache.hadoop.util.ShutdownHookManager.getShutdownTimeout(ShutdownHookManager.java:183) [hadoop-common-3.1.3.jar:?] at org.apache.hadoop.util.ShutdownHookManager.shutdownExecutor(ShutdownHookManager.java:145) [hadoop-common-3.1.3.jar:?] at org.apache.hadoop.util.ShutdownHookManager.access$300(ShutdownHookManager.java:65) [hadoop-common-3.1.3.jar:?] at org.apache.hadoop.util.ShutdownHookManager$1.run(ShutdownHookManager.java:102) [hadoop-common-3.1.3.jar:?] Exception in thread "Thread-1" java.lang.RuntimeException: com.ctc.wstx.exc.WstxParsingException: Unexpected close tag </name>; expected </me>. at [row,col,system-id]: [1,37,"file:/export/server/hadoop/etc/hadoop/core-site.xml"] at org.apache.hadoop.conf.Configuration.loadResource(Configuration.java:3024) at org.apache.hadoop.conf.Configuration.loadResources(Configuration.java:2968) at org.apache.hadoop.conf.Configuration.getProps(Configuration.java:2848) at org.apache.hadoop.conf.Configuration.get(Configuration.java:1200) at org.apache.hadoop.conf.Configuration.getTimeDuration(Configuration.java:1812) at org.apache.hadoop.conf.Configuration.getTimeDuration(Configuration.java:1789) at org.apache.hadoop.util.ShutdownHookManager.getShutdownTimeout(ShutdownHookManager.java:183) at org.apache.hadoop.util.ShutdownHookManager.shutdownExecutor(ShutdownHookManager.java:145) at org.apache.hadoop.util.ShutdownHookManager.access$300(ShutdownHookManager.java:65) at org.apache.hadoop.util.ShutdownHookManager$1.run(ShutdownHookManager.java:102) Caused by: com.ctc.wstx.exc.WstxParsingException: Unexpected close tag </name>; expected </me>. at [row,col,system-id]: [1,37,"file:/export/server/hadoop/etc/hadoop/core-site.xml"] at com.ctc.wstx.sr.StreamScanner.constructWfcException(StreamScanner.java:621) at com.ctc.wstx.sr.StreamScanner.throwParseError(StreamScanner.java:491) at com.ctc.wstx.sr.StreamScanner.throwParseError(StreamScanner.java:475) at com.ctc.wstx.sr.BasicStreamReader.reportWrongEndElem(BasicStreamReader.java:3365) at com.ctc.wstx.sr.BasicStreamReader.readEndElem(BasicStreamReader.java:3292) at com.ctc.wstx.sr.BasicStreamReader.nextFromTree(BasicStreamReader.java:2911) at com.ctc.wstx.sr.BasicStreamReader.next(BasicStreamReader.java:1123) at org.apache.hadoop.conf.Configuration$Parser.parseNext(Configuration.java:3320) at org.apache.hadoop.conf.Configuration$Parser.parse(Configuration.java:3114) at org.apache.hadoop.conf.Configuration.loadResource(Configuration.java:3007) ... 9 more [root@master conf]# !connect jdbc:hive2://192.168.81.130:10000 bash: !connect: event not found [root@master conf]#
最新发布
10-24
<name>hadoop.proxyuser.root.hosts ``` 这是一个 **不完整的 XML 片段**！它只有标签，没有根元素、没有 `<configuration>` 包裹，甚至可能只有一行就被保存了。 这就是导致 `Unexpected close tag </name>` 的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值