hadoop2.x error记录

最新推荐文章于 2023-02-01 18:16:10 发布
最新推荐文章于 2023-02-01 18:16:10 发布
阅读量745 收藏
点赞数
分类专栏： Hadoop开发 文章标签： hadoop eclipse

通过设置log4j 属性来记录hadoop运行时具体错误

创建log4j.properties文件 
在src目录下创建log4j.properties文件，内容如下： 
log4j.rootLogger=debug,stdout,R 
log4j.appender.stdout=org.apache.log4j.ConsoleAppender 
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout 
log4j.appender.stdout.layout.ConversionPattern=%5p - %m%n 
log4j.appender.R=org.apache.log4j.RollingFileAppender 
log4j.appender.R.File=mapreduce_test.log 
log4j.appender.R.MaxFileSize=1MB 
log4j.appender.R.MaxBackupIndex=1 
log4j.appender.R.layout=org.apache.log4j.PatternLayout 
log4j.appender.R.layout.ConversionPattern=%p %t %c - %m%n 
log4j.logger.com.codefutures=DEBUG  

WARN main org.apache.hadoop.util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

 DEBUG main org.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback - Falling back to shell based
 DEBUG main org.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback - Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping
 DEBUG main org.apache.hadoop.util.Shell - Failed to detect a valid hadoop home directory
 java.io.IOException: HADOOP_HOME or hadoop.home.dir are not set.
at org.apache.hadoop.util.Shell.checkHadoopHome(Shell.java:302)
at org.apache.hadoop.util.Shell.<clinit>(Shell.java:327)
at org.apache.hadoop.util.StringUtils.<clinit>(StringUtils.java:78)
at org.apache.hadoop.security.Groups.parseStaticMapping(Groups.java:93)
at org.apache.hadoop.security.Groups.<init>(Groups.java:77)
at org.apache.hadoop.security.Groups.getUserToGroupsMappingService(Groups.java:240)
at org.apache.hadoop.security.UserGroupInformation.initialize(UserGroupInformation.java:257)
at org.apache.hadoop.security.UserGroupInformation.ensureInitialized(UserGroupInformation.java:234)
at org.apache.hadoop.security.UserGroupInformation.loginUserFromSubject(UserGroupInformation.java:749)
at org.apache.hadoop.security.UserGroupInformation.getLoginUser(UserGroupInformation.java:734)
at org.apache.hadoop.security.UserGroupInformation.getCurrentUser(UserGroupInformation.java:607)
at org.apache.hadoop.fs.FileSystem$Cache$Key.<init>(FileSystem.java:2748)
at org.apache.hadoop.fs.FileSystem$Cache$Key.<init>(FileSystem.java:2740)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2606)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:368)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:167)
at cug.Dfs.main(Dfs.java:28)
ERROR main org.apache.hadoop.util.Shell - Failed to locate the winutils binary in the hadoop binary path
 java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
at org.apache.hadoop.util.Shell.getQualifiedBinPath(Shell.java:355)
at org.apache.hadoop.util.Shell.getWinUtilsPath(Shell.java:370)
at org.apache.hadoop.util.Shell.<clinit>(Shell.java:363)
at org.apache.hadoop.util.StringUtils.<clinit>(StringUtils.java:78)
at org.apache.hadoop.security.Groups.parseStaticMapping(Groups.java:93)
at org.apache.hadoop.security.Groups.<init>(Groups.java:77)
at org.apache.hadoop.security.Groups.getUserToGroupsMappingService(Groups.java:240)
at org.apache.hadoop.security.UserGroupInformation.initialize(UserGroupInformation.java:257)
at org.apache.hadoop.security.UserGroupInformation.ensureInitialized(UserGroupInformation.java:234)
at org.apache.hadoop.security.UserGroupInformation.loginUserFromSubject(UserGroupInformation.java:749)
at org.apache.hadoop.security.UserGroupInformation.getLoginUser(UserGroupInformation.java:734)
at org.apache.hadoop.security.UserGroupInformation.getCurrentUser(UserGroupInformation.java:607)
at org.apache.hadoop.fs.FileSystem$Cache$Key.<init>(FileSystem.java:2748)
at org.apache.hadoop.fs.FileSystem$Cache$Key.<init>(FileSystem.java:2740)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2606)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:368)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:167)
at cug.Dfs.main(Dfs.java:28)
DEBUG main org.apache.hadoop.security.Groups - Group mapping impl=org.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback; cacheTimeout=300000; warningDeltaMs=5000
 DEBUG main org.apache.hadoop.security.UserGroupInformation - hadoop login
 DEBUG main org.apache.hadoop.security.UserGroupInformation - hadoop login commit
 DEBUG main org.apache.hadoop.security.UserGroupInformation - using local user:NTUserPrincipal: DELL
 DEBUG main org.apache.hadoop.security.UserGroupInformation - UGI loginUser:DELL (auth:SIMPLE)
 
纯手动搭建大数据集群架构_记录022_麒麟系统v10_ARM架构集群搭建01_ARM架构jdk安装_集群架构_NameNode is stilling---大数据之Hadoop3.x工作笔记0182
添柴程序猿的专栏
06-12 271
最近客户给了个集群,三台机器,但是,却是ARM架构的,第一次安装arm架构的机器,对于软件,有一定的要求,这个过程中,主要是.我打算把,hadoop,每个机器,安装到对应的文件夹中去.那么这个时候,配置hadoop的etc/hadoop文件夹中的。这个位置,其实就是安装的openjdk. 这里要注意openjdk是有问题的, 他默认安装上了,但是没有清晰的指定。并且要指出的是,这三台机器,自身的硬盘都很小,只有一块9.8T的盘,但是这三台机器都挂到这个盘上面去了。
20210823-基于centos7搭建hadoop3.X完全分布式集群
u013531477的博客
08-31 596
#关键字：CentOS7、hadoop/hadoop3/hadoop3.0/hadoop3.x完全分布式集群 一、目标： 1、基于hadoop3在虚拟机上搭建3个节点的hadoop完全分布式集群。 2、集群部署规划： 主机名 服务名 hadoop3 hadoop4 hadoop5 HDFS NameNode DataNode DataNode SecondaryNameNode DataNode YARN ...
IDEA运行时出现的错误：java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.
梁辰兴的博客
12-11 2007
注：本人使用的hadoop版本为hadoop-3.3.4。
Eclipse操作HDFS时常见错误
liulang12580的博客
04-04 1463
在Windows环境下，Eclipse操作hdfs时，出现  ERROR Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop b
Hadoop相关问题记录
Loading...
04-02 1367
Eclipse Maven Missing artifact jdk.tools:jdk.tools:jar:1.6 问题描述： 以前的项目，只是为了解决问题而解决问题，没有去考虑原因，现在由于重装了系统导致之前的配置报错了，遂找了找原因。 Eclipse Maven Missing artifact jdk.tools:jdk.tools:jar:1.6 原因： ...
hadoop 2.6.4 java_Win7+Eclipse+Hadoop2.6.4开发环境搭建
weixin_42361796的博客
02-16 202
Hadoop开发环境搭建感谢参考网站：http://www.cnblogs.com/huligong1234/p/4137133.html一、软件准备JDK：jdk-7u80-windows-x64.exeEclipse：eclipse-jee-mars-2-win32-x86_64.zipHadoop：hadoop-2.6.4.tar.gzHadoop-Src：hadoop-2.6.4-src....
Hadoop的安全/权限管理
肖韬的BLOG
05-20 1万+
为什么要注重权限管理Hadoop集群装好了，其自身几乎没有对安全/用户权限的配置。用户可以轻易地伪造自己的身份来破坏Hadoop集群，例如，从client伪装成一个hdfs用户删除HDFS中的全部数据，或者伪装成mapred用户提交一个恶意的job。对于商业用户而言，数据安全是最重要的。所以，对于Hadoop集群而言，必须进行一定的安全配置，保证数据和集群的安全。
Hadoop 3.x 笔记（配置、命令、脚本、重要图示、代码实现）
ZZay's
03-30 2832
Hadoop 3.x 笔记 作者： Zzay 目的： 本文章记录 hadoop 3.x 使用过程中常用的配置、命令、脚本、重要图示、实现代码，以方便未来查看使用。 1. 常用配置 1.1 端口号 以下是Hadoop 3.x常用的端口号。 NameNode HTTP UI 端口：9870 NameNode 内部通信端口：8020/9000/9820 Secondary NameNode：9868 YARN 查看执行任务端口（ResourceManager）：8088 历史服务器通信端口（jobHi
第一课 大数据技术之Hadoop3.x环境搭建
QnHyn
06-10 597
hadoop
Hadoop 3.x 入门 - 记录躺过的坑
热门推荐
r_aider的博客
04-23 1万+
一、 伪分布式节点启动报错 ./start-dfs.sh Starting namenodes on [10.1.4.57] ERROR: Attempting to operate on hdfs namenode as root ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation. Starting...
pc机连接集群的HADOOP_HOME
12-14
pc机连接hadoop集群必须的文件，把它放到本地，然后配置到环境变量中，才能在本地操作集群。
Java开发HBase程序报错：HADOOP_HOME or hadoop.home.dir are not set.
说文科技，做有态度的研究。
11-14 6177
Java开发HBase程序报错：HADOOP_HOME or hadoop.home.dir are not set. 1.报错 16:36:44.271 [main] DEBUG org.apache.hadoop.util.Shell - Failed to detect a valid hadoop home directory java.io.IOException: HADOOP_HOM...
hadoop3.2.1java操作hdfs报错 HADOOP_HOME and hadoop.home.dir are unset
南顾春衫
04-18 2149
目录出现错误解决错误 出现错误 20:42:14.012 [main] DEBUG org.apache.hadoop.util.Shell - Failed to detect a valid hadoop home directory java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset. at or...
hadoo异常——org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException
weixin_30606669的博客
08-20 1666
2013-08-20 10:36:17,728 INFO org.apache.hadoop.http.HttpServer: listener.getLocalPort() returned 50070 webServer.getConnectors()[0].getLocalPort() returned 50070 2013-08-20 10:36:17,728 INFO org.apac...
hadoop本地库不一致的解决方案
Jor_rosen的技术博客
10-27 7140
15/06/25 00:14:04 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 解决办法： 增加调试信息 [hadoop@master001 native]$ export HA
Hadoop学习二(java api调用操作HDFS)
李鑫堂的学习记录
04-18 4785
在Ubuntu虚拟机上启动了hadoop后，在windows机器上通过java api方式调用操作hdfs，在使用过程中遇到了一些问题。 首先创建了一个maven项目，pom.xml文件中引入了 hadoop-common 包 org.apache.hadoop hadoop-common 2.7.1 org.apache.hadoop hadoop-mapr
配置了环境变量却依然报错Caused by: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.
个人学习笔记库，一篇一篇记录成长的足迹
02-01 872
Caused by: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset
本地运行java操作hbase报错：HADOOP_HOME or hadoop.home.dir are not set.
zx07160501的博客
07-19 4627
  在本地解压一个hadoop压缩包，并配置环境变量 参考：https://blog.csdn.net/darkdragonking/article/details/72636917
HBase Table log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell). log4j:WARN Please initialize the log4j system properly. log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
最新发布
04-04
<think>好的，我现在需要帮助用户解决关于HBase Table出现的log4j警告问题。用户之前已经遇到了找不到main方法的错误，现在又出现了log4j的警告。首先，我需要理解这个警告的原因，然后给出解决方案。 首先，用户提到的警告信息是log4j:WARN No appenders could be found for logger，这意味着log4j没有被正确配置，导致没有找到合适的appender来输出日志。这通常发生在项目缺少log4j的配置文件时。用户可能在使用HBase客户端时，依赖了Hadoop或HBase的相关库，而这些库本身使用log4j作为日志框架，但用户的项目中没有提供相应的配置文件。 接下来，我需要考虑用户可能的场景。用户可能是在运行一个HBase的Java应用程序，比如之前提到的ListTableHBase类。他们可能没有意识到需要配置日志系统，或者配置文件的位置不正确。此外，用户可能对log4j的配置不太熟悉，所以需要给出具体的配置步骤和示例。 解决方案方面，我需要建议用户添加log4j的配置文件，比如log4j.properties，并放置在类路径下。同时，可能需要调整日志级别，或者排除其他日志框架的冲突，比如SLF4J与log4j的绑定问题。另外，如果用户不希望配置日志，也可以临时禁用log4j的警告，但这可能不是最佳实践。 还需要考虑用户的项目结构，比如Maven或Gradle项目中的资源目录是否正确放置配置文件。用户可能在使用IDE，如IntelliJ或Eclipse，这时候需要确认配置文件是否被正确包含在构建路径中。 另外，用户之前的问题涉及到JavaFX的依赖问题，可能他们的项目配置存在其他问题，比如依赖冲突或者构建工具配置错误。不过当前的问题主要集中在log4j的配置上，所以需要专注于这一点。 最后，需要确保回答结构清晰，分步骤说明解决方法，并给出示例代码和配置，同时解释原因，让用户理解为什么会出现这个问题以及如何避免。可能还需要补充一些扩展建议，比如使用更现代的日志框架，或者配置日志输出到文件等。</think>--- ### **错误原因分析** 您遇到的 log4j 警告表明日志系统未正确配置： ``` log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell). log4j:WARN Please initialize the log4j system properly. ``` #### **核心问题**： 1. **缺失配置文件**：Hadoop/HBase 依赖 `log4j` 记录日志，但项目中缺少 `log4j.properties` 或 `log4j.xml` 配置文件。 2. **类路径未加载配置**：配置文件未放置在构建工具的**资源目录**（如 Maven 的 `src/main/resources`）中。 --- ### **解决方案** #### **步骤1：添加 log4j 配置文件** 在项目的**资源目录**（如 `src/main/resources`）下新建 `log4j.properties` 文件，内容如下： ```properties # 设置根日志级别为 INFO，输出到控制台 log4j.rootLogger=INFO, stdout # 控制台输出配置 log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLayout log4j.appender.stdout.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n # 可选：抑制 Hadoop 冗余日志 log4j.logger.org.apache.hadoop=ERROR log4j.logger.org.apache.zookeeper=ERROR ``` #### **步骤2：验证文件位置** | 构建工具 | 正确路径 | 验证方法 | |----------|----------|----------| | Maven | `src/main/resources/log4j.properties` | 编译后检查 `target/classes` 是否包含该文件 | | Gradle | `src/main/resources/log4j.properties` | 编译后检查 `build/resources` 目录 | | 普通项目 | 与编译后的 `.class` 文件同级目录 | 手动复制到输出目录 | #### **步骤3：依赖兼容性检查** 如果项目使用 **SLF4J** 或其他日志框架，需确保绑定正确： ```xml <!-- Maven 依赖示例 --> <dependencies> <!-- log4j 核心依赖 --> <dependency> <groupId>log4j</groupId> <artifactId>log4j</artifactId> <version>1.2.17</version> </dependency> <!-- 若需 SLF4J 兼容 --> <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-log4j12</artifactId> <version>1.7.36</version> </dependency> </dependencies> ``` #### **步骤4：运行时验证** 通过命令行运行时，显式指定日志配置： ```bash # 添加 JVM 参数强制加载配置 java -Dlog4j.configuration=file:src/main/resources/log4j.properties -cp "your_classpath" ListTableHBase ``` --- ### **完整代码示例** ```java import org.apache.hadoop.hbase.client.Connection; import org.apache.hadoop.hbase.client.ConnectionFactory; public class ListTableHBase { public static void main(String[] args) { // 日志系统会在首次调用时自动初始化 Connection connection = ConnectionFactory.createConnection(); // ... HBase 操作代码 ... } } ``` --- ### **扩展建议** 1. **日志级别控制**： ```properties # 单独调整 HBase 日志级别 log4j.logger.org.apache.hadoop.hbase=DEBUG ``` 2. **输出到文件**： ```properties log4j.appender.file=org.apache.log4j.FileAppender log4j.appender.file.File=hbase-client.log log4j.appender.file.layout=org.apache.log4j.PatternLayout log4j.appender.file.layout.ConversionPattern=%d{ISO8601} [%t] %-5p %c %x - %m%n ``` 3. **临时禁用警告（不推荐）**： ```bash java -Dlog4j.ignoreTCL=true -cp "your_classpath" ListTableHBase ``` --- ### **常见问题排查表** | 现象 | 原因 | 解决方案 | |------|------|----------| | 配置文件存在但警告仍在 | 文件未在类路径中 | 检查 Maven/Gradle 的 `resources` 配置 | | 日志输出乱码 | 系统编码与日志配置冲突 | 添加 `-Dfile.encoding=UTF-8` 参数 | | 多日志框架冲突 | SLF4J 绑定多个实现 | 使用 `mvn dependency:tree` 检查冲突 | 通过以上配置，您将获得清晰的日志输出，同时能有效监控 HBase 客户端的运行状态。如果问题持续，请提供完整的项目结构和依赖列表以便进一步诊断。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值