HDFS 查询目录报错 OutOfMemoryError: GC overhead limit exceeded

最新推荐文章于 2024-12-27 22:11:16 发布
原创 最新推荐文章于 2024-12-27 22:11:16 发布 · 1k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop

当尝试使用hdfs dfs -ls命令遍历包含大量文件的日志目录时，遇到了`java.lang.OutOfMemoryError: GC overhead limit exceeded`错误。为了解决这个问题，调整了HDFS客户端的堆大小，通过设置HADOOP_CLIENT_OPTS为-Xmx10240m，成功执行了命令并避免了内存溢出。

1、现象
HDFS查询yarn日志目录，报错:Exception in thread “main” java.lang.OutOfMemoryError: GC overhead limit exceeded在这里插入图片描述
2、解决问题
检测发现这个目录下有大量文件，hdfs dfs -ls命令以递归方式搜索目标文件夹中的所有文件，这导致GC OOM错误。
将hdfs客户端的heap大小调大,执行成功:
HADOOP_CLIENT_OPTS="-Xmx10240m" hdfs dfs -ls /app-logs/ocdp/logs | wc -l
在这里插入图片描述

yarn:hadoop YarnChild OutOfMemoryError Java heap space || GC Overhead limit
九师兄
05-14 1273
org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.OutOfMemoryError: Java heap space
hdfs client分析：hdfs dfs -ls
派大星的技术人生
03-27 2600
shell脚本分析 实例命令：hdfs dfs -ls 对应脚本文件：bin/hdfs 对应具体脚本内容： COMMAND=$1 shift elif [ "$COMMAND" = "dfs" ] ; then CLASS=org.apache.hadoop.fs.FsShell 最终执行的命令： exec "$JAVA" $JAVA_HEAP_MAX $HADOOP_OPTS $CLAS...
hdfs问题-删除,遍历某个目录时显示GC overhead limit exceeded
陈小哥cw
09-21 1153
之前碰到一个问题，使用hdfs ls或者find命令时，会报GC问题，如下图 Exception in thread "main" java.lang.OutOfMemoryError: GC overhead limit exceeded 经过调查，我发现该文件夹中有超过3,200,000个文件，而hdfs dfs -ls命令以递归方式搜索目标文件夹中的所有文件，这导致GC OOM错误。 于是我将hdfs客户端的heap大小调大，再次运行则成功 HADOOP_CLIENT_OPTS="-Xmx1024
Hadoop Namenode启动报错GC overhead limit exceeded
卧龙居
09-28 3272
Hadoop Namenode启动报错： 看起来是fsimage中的节点数目过多，导致的GC Overhead超过限制。Fsimage是namenode维护的重要文件之一，它包含了整个HDFS文件系统的所有目录信息和文件信息。对于文件来说包含了数据块描述信息、修改时间、访问时间等；对于目录来说，包含了修改时间、访问权限控制信息等。 需要用以下命令查看fsimage文件占用的内存大小： ....
项目报 OutOfMemoryError 、GC overhead limit exceeded 问题排查以及解决思路实战
最新发布
qq_45938780的博客
12-27 4576
项目报 OutOfMemoryError 、GC overhead limit exceeded 问题排查以及解决思路实战
hadoop启动报错-namenode无法启动-GC overhead limit exceeded
03-22 4420
报错场景：凌晨4:30分钟 报错日志：2016-03-22 04:30:29,075 WARN org.apache.hadoop.ipc.Server: IPC Server handler 2 on 9000, call org.apache.hadoop.hdfs.protocol.ClientProtocol.getFileInfo from 10.10.10.4 3:54994 Ca
Flume 内存优化之 OutOfMemoryError: GC overhead limit exceeded
Lpy的博客
09-15 859
1.问题描述：启动消费Flume抛出如下异常 ERROR hdfs.HDFSEventSink: process failed java.lang.OutOfMemoryError: GC overhead limit exceeded 2.解决方案步骤： （1）在hadoop102 服务器的 /opt/module/flume/conf/flume-env.sh 文件中增加如下配置 export JAVA_OPTS="-Xms100m -Xmx2000m -Dcom.sun.management
Flume kafkasource报错：GC overhead limit exceeded
m0_55685698的博客
04-06 1113
笔者在集成kafka和flume时 kafkasource报出如下错误：Exception in thread "PollableSourceRunner-KafkaSource-r1" java.lang.OutOfMemoryError: GC overhead limit exceeded
flumeERROR hdfs.BucketWriter: Unexpected error java.lang.OutOfMemoryError: GC overhead limit exceeded
11-05
flumeERROR hdfs.BucketWriter: Unexpected error java.lang.OutOfMemoryError: GC overhead limit exceeded是由于flume写入HDFS时，内存不足导致的错误。这个错误和HDFS查询yarn日志目录时出现的错误类似，都是由于...
详解 Flink 容器化环境下的 OOM Killed
数据库技术
01-15 189
在生产环境中，Flink 通常会部署在 YARN 或 k8s 等资源管理系统之上，进程会以容器化（YARN 容器或 docker 等容器）的方式运行，其资源会受到资源管理系统的严格限制。另一方面，Flink 运行在 JVM 之上，而 JVM 与容器化环境并不是特别适配，尤其 JVM 复杂且可控性较弱的内存模型，容易导致进程因使用资源超标而被 kill 掉，造成 Flink 应用的不稳定甚至不可用。 针对这个问题，Flink 在 1.10 版本对内存管理模块进行了重构，设计了全新的内存参数。在大多数场景下
Hadoop Exception in thread "main" java.lang.OutOfMemoryError: GC overhead limit exceeded
helloxiaozhe的博客
12-08 1873
关于一个经典Hadoop 错误信息的解决的方法 错误信息如下： 17/12/08 10:08:31 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Exception in thread "main" java.lang.OutOfMemoryError: GC overhead limit exc
Spark读取HDFS上的Snappy压缩文件所导致的内存溢出问题 java.lang.OutOfMemoryError: GC overhead limit exceeded
chun的博客
11-19 2749
HDFS上有一些每天增长的文件，目前使用的是Snappy压缩，突然某天OOM了 1.原因: 因为snappy不能split切片，也就会导致一个文件将会由一个task来读取，读取后解压，数据又会膨胀好多倍，如果文件数太大而且你的并行度也挺大，就会导致大量full gc，最终OOM 因为前人实现的，不太好改，为了程序能快速跑起来，只好将最后入HDFS前reparation(500),修改为1000，增加文件数，减少每个文件数据量。但是他不是长久之计，更换压缩方式LZO，但是没实现过还需要建立索引，需要规划一下，
Hadoop报错 Exception in thread "main" java.lang.OutOfMemoryError: GC overhead limit exceeded
戴着红领巾走世界
04-03 3749
今天在查看Hadoop平台上HDFS数据文件文件半天没反应，最后报错：Exception in thread “main” java.lang.OutOfMemoryError: GC overhead limit exceeded，超出GC开销限制。报这种错误常见的原因有以下几种： 1.内存中加载的数据量过于庞大，如一次从数据库取出过多数据； 2.集合类中有对对象的引用，使用完后未清空，使得JV...
java.lang.OutOfMemoryError: GC overhead limit exceeded
action825的博客
07-28 726
错误信息 执行Sql： create table xxx.gqj_test_1 as select applseq, max(case when rule_id='2005302' then result end) as 6_month, max(case when rule_id='2005304' then result end) as 12_month, max(case when rule_id='2005306' then result end) as 18_month, m
hadoop命令OutOfMemoryError GC
Alex.W.的机器学习之路
05-12 1825
使用hadoop命令对hdfs文件系统进行操作时（例如getmerge、put等）可能会遇到OutOfMemoryError这样的异常，如下图： 解决方法：增大hadoop client的最大内存占用限制。 命令： export HADOOP_CLIENT_OPTS=”-Xmx10g”，具体是10g还是其他数值可以根据自己机器的具体情况调整。
hadoop在执行过程中OutOfMemory
火炬手
04-23 1271
Hadoop在运行过程中出现的问题：         3/12/02 20:02:06 INFO mapreduce.Job: map 100% reduce 2% 13/12/02 20:02:18 INFO mapreduce.Job: Task Id : attempt_1385983958793_0001_r_000000_1, Status : FAILED Error: o
hadoop file output 报 java.lang.OutOfMemoryError: Requested array size exceeds VM
zsg86的博客
10-09 1272
 使用kettle将hive中的数据抽取到hdfs中，报 java.lang.OutOfMemoryError: Requested array size exceeds VM  原因是，hive中有两个字段定义的长度为21亿，超过了jvm数据长度，减小这两个字段长度即可。       ...
hdfs OutOfMemoryError
weixin_30314813的博客
10-30 385
大量推送本地文件到hdfs如下 hadoop fs -put ${local_path} ${hdfs_path}报错。 Exception in thread "main" java.lang.OutOfMemoryError: GC overhead limit exceeded at java.util.Arrays.copyOfRange(Arrays.java:3664...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值