yarn:hadoop YarnChild OutOfMemoryError Java heap space || GC Overhead limit

最新推荐文章于 2022-11-15 18:18:10 发布
最新推荐文章于 2022-11-15 18:18:10 发布
阅读量1.2k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据-hadoop 文章标签： yarn kylin YarnChild Overhead limit
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.youkuaiyun.com/qq_21383435/article/details/90212870
在执行Kylin作业时，由于处理49M的商品表（含1千万数据）和1.7M的类别表（10万条数据）进行Hive去重操作，遇到了YarnChild进程的`OutOfMemoryError: Java heap space`和`GC Overhead limit exceeded`错误。问题源于JVM内存分配不足导致的垃圾收集效率过低。解决方法包括调整YARN和Hadoop的配置参数，增大内存分配或优化数据处理逻辑。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

1.背景

在这里插入图片描述
做kylin的时候

商品表 txt文件 49M 一共1千万数据
类别表 1.7M 10万条数据

然后在进行hive去重的时候报错
在这里插入图片描述
报错原因是
有几个
在这里插入图片描述
在这里插入图片描述

 org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.OutOfMemoryError: Java heap space

以及

B.ClientNamenodeProtocol
了解本专栏 订阅专栏 解锁全文
【jvm】java jvm 报错 OutOfMemoryError: GC overhead limit exceeded
九师兄
03-18 1362
1.概述 JVM 抛出 OutOfMemoryError 的最后一种情况是 JVM 认为在执行 GC 上花费了太多时间： Exception in thread "main" java.lang.OutOfMemoryError: GC overhead limit exceeded 当满足下列所有条件时就会抛出该错误。 花在 Full GC 上的时间超出了 -XX:GCTimeLimit=N 标志指定的值。其默认值是 98（也就是，如果 98% 的时间花在了 GC 上，则该条件满足）。 一次 Fu.
Hadoop HDFS： the directory item limit is exceed: limit=1048576问题的解决
weixin_34279184的博客
11-17 1845
问题描述：1.文件无法写入hadoop hdfs文件系统；2.hadoop namenode日志记录thedirectoryitemlimitisexceed:limit=10485763.hadoop单个目录下文件超1048576个，默认limit限制数为1048576，所以要调大limit限制数解决办法：hdfs-site.xml配置文件添加配置参数 &lt...
yarn中MR作业报错Java heap space
宝罗Paul 的博客
08-05 3327
提交到yarn框架计算的作业报错 //0，报错内容 我们hadoop-2.7集群用的执行引擎不是Tez，而是mr(是老集群) Error: Java heap space Container killed by the ApplicationMaster. //1，查找报错日志 [root@ my-hadoop-cluster hive]# grep -C 3 –color “log....
java.lang.OutOfMemoryError: Java heap space 的解决
一个人有了信仰，不管成不成功，至少不会迷茫。
02-27 888
最近在熟悉一个开发了有几年的项目，需要把数据库从mysql移植到oracle，首先把jdbc的连接指向mysql，打包放到tomcat里面，可以跑起来，没有问题，可是当把jdbc连接指向oracle的时候，tomcat就连续抛java.lang.OutOfMemoryError的错误，上网google了一下，了解了一下tomcat的运行机制，也解决了问题，share出来，以备查。 1、首先是
hadoop的mapreduce作业中经常出现的Out Of Memory解决方案
切梦
10-25 731
常常被一些用户问到，说“为什么我的mapreduce作业总是运行到某个阶段就报出如下错误，然后失败呢？以前同一个作业没出现过的呀？” 10/01/10 12:48:01 INFO mapred.JobClient: Task Id : attempt_201001061331_0002_m_000027_0, Status : FAILED java.lang.OutOfMemoryError...
pyspark的JVM溢出 java.lang.OutOfMemoryError: Java heap space
qq_41678224的博客
12-01 2758
pyspark大坑记录 这几天在用pyspark将本地文件批量存入es中时，出现了一些bug，这里记录一下； Bug1： java.lang.OutOfMemoryError: GC overhead limit exceeded Bug2：java.lang.OutOfMemoryError: Java heap space 最后经过一番百度，google之后发现都让我改$SPARK_HOME/conf/spark-env.sh里的driver memory配置，可是我改了之后完全没有卵用，最后还是在代码
Hive启动报错：java.lang.OutOfMemoryError: Java heap space（java堆内存溢出）
MCY的博客
01-05 1080
解决办法：在 yarn-site.xml 中加入如下代码 <property> <name>yarn.scheduler.maximum-allocation-mb</name> <value>2048</value> </property> <property> <name>yarn.sche...
Error running query: org.apache.hive.com.google.common.util.concurrent.ExecutionError: java.lang.OutOfMemoryError: Compressed class space
最新发布
07-21
- [^4]: 讨论了 `java.lang.OutOfMemoryError: GC overhead limit exceeded`，尝试了各种参数调整，最终通过设置 `export HADOOP_CLIENT_OPTS="-Xmx512m"` 解决了问题。 - [^5]: 提到了 `return code 2 from org....
spark-sumit提交任务到yarn运行报OutofMemory内存溢出
会飞的鱼
08-08 1991
java.lang.OutOfMemoryError: Java heap space -XX:OnOutOfMemoryError=“kill %p” Executing /bin/sh -c “kill 54710”… yarn logs -applicationId application_1565223618995_0003 > log.log 用这个方法搜集该任务的日志，查看错误...
hadoop在执行时出现 Caused by: java.lang.OutOfMemoryError: Java heap space
u010011737的专栏
08-23 4469
Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#1 at org.apache.hadoop.mapreduce.task.reduce.Shuffle.run(Shuffle.java:121) at org.apache.hadoop.mapred.
java head space.txt
10-12
以下的问题是由于java的堆内存已满，需要java运行时加大java的堆内存空间 2019-10-09 18:02:32.858 [http-nio-8239-exec-6] ERROR c.a.b.c.exceptionHandler.CodeBaseExceptionHandler:69 - Handler dispatch failed; nested exception is java.lang.OutOfMemoryError: Java heap space org.springframework.web.util.NestedServletException: Handler dispatch failed; nested exception is java.lang.OutOfMemoryError: Java heap space at org.springframework.web.servlet.DispatcherServlet.doDispatch(DispatcherServlet.java:1006) at org.springframework.web.servlet.DispatcherServlet.doService(DispatcherServlet.java:925) at org.springframework.web.servlet.FrameworkServlet.processRequest(FrameworkServlet.java:974) at org.springframework.web.servlet.FrameworkServlet.doPost(FrameworkServlet.java:877) at javax.servlet.http.HttpServlet.service(HttpServlet.java:661) at org.springframework.web.servlet.FrameworkServlet.service(FrameworkServlet.java:851) at javax.servlet.http.HttpServlet.service(HttpServlet.java:742) at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:231) at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:166) at org.apache.tomcat.websocket.server.WsFilter.doFilter(WsFilter.java:52) at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:193) at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:166) at org.springframework.web.filter.CorsFilter.doFilterInternal(CorsFilter.java:96) at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:107) at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:193) at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:166) at com.github.xiaoymin.swaggerbootstrapui.filter.SecurityBasicAuthFilter.doFilter(SecurityBasicAuthFilter.java:80) at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:193) at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:166) at com.github.xiaoymin.swaggerbootstrapui.filter.ProductionSecurityFilter.doFilter(ProductionSecurityFilter.java:53) at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:193) at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:166) at org.apache.shiro.web.servlet.ProxiedFilterChain.doFilter(ProxiedFilterChain.java:61) at org.apache.shiro.web.servlet.AdviceFilter.executeChain(AdviceFilter.java:108) at org.apache.shiro.web.servlet.AdviceFilter.doFilterInternal(AdviceFilter.java:137) at org.apache.shiro.web.servlet.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:125) at org.apache.shiro.web.servlet.ProxiedFilterChain.doFilter(ProxiedFilterChain.java:66) at org.apache.shiro.web.servlet.AbstractShiroFilter.executeChain(AbstractShiroFilter.java:449) at org.apache.shiro.web.servlet.AbstractShiroFilter$1.call(AbstractShiroFilter.java:365) at org.apache.shiro.subject.support.SubjectCallable.doCall(SubjectCallable.java:90) at org.apache.shiro.subject.support.SubjectCallable.call(SubjectCallable.java:83) at org.apache.shiro.subject.support.DelegatingSubject.execute(DelegatingSubject.java:387) at org.apache.shiro.web.servlet.AbstractShiroFilter.doFilterInternal(AbstractShiroFilter.java:362) at org.apache.shiro.web.servlet.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:125) at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:193) at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:166) at com.alibaba.druid.support.http.WebStatFilter.doFilter(WebStatFilter.java:123) at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:193) at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:166) at org.springframework.web.filter.RequestContextFilter.doFilterInternal(RequestContextFilter.java:99) at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:107) at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:193) at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:166) at org.springframework.web.filter.HttpPutFormContentFilter.doFilterInternal(HttpPutFormContentFilter.java:109) at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:107) at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:193) at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:166) at org.springframework.web.filter.HiddenHttpMethodFilter.doFilterInternal(HiddenHttpMethodFilter.java:93) at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:107) at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:193) at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:166) at org.springframework.web.filter.CharacterEncodingFilter.doFilterInternal(CharacterEncodingFilter.java:200) at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:107) at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:193) at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:166) at org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:198) at org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:96) at org.apache.catalina.authenticator.AuthenticatorBase.invoke(AuthenticatorBase.java:496) at org.apache.catalina.core.StandardHostValve.invoke(StandardHostValve.java:140) at org.apache.catalina.valves.ErrorReportValve.invoke(ErrorReportValve.java:81) at org.apache.catalina.core.StandardEngineValve.invoke(StandardEngineValve.java:87) at org.apache.catalina.connector.CoyoteAdapter.service(CoyoteAdapter.java:342) at org.apache.coyote.http11.Http11Processor.service(Http11Processor.java:803) at org.apache.coyote.AbstractProcessorLight.process(AbstractProcessorLight.java:66) at org.apache.coyote.AbstractProtocol$ConnectionHandler.process(AbstractProtocol.java:790) at org.apache.tomcat.util.net.NioEndpoint$SocketProcessor.doRun(NioEndpoint.java:1468) at org.apache.tomcat.util.net.SocketProcessorBase.run(SocketProcessorBase.java:49) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61) at java.lang.Thread.run(Thread.java:748) Caused by: java.lang.OutOfMemoryError: Java heap space
关于OutOfMemoryError java heap space 解决方法
CFZero的专栏
11-23 693
1、 java -jar -Xms256M -Xmx512M yourjar.jar
Hadoop java.lang.OutOfMemoryError: Java heap space的解决方法
ForeverNull的专栏
06-05 3911
安装hadoop后，运行手册中的测试代码：
解决Hive查询出现Java.lang.OutMemoryError.java heap space
炼丹笔记
11-15 2692
解决出现Java.lang.OutMemoryError.java heap space和FAILED：Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
java heep space_hadoop使用中出现Java heap space解决方案汇总
weixin_42514949的博客
02-16 959
问题导读：1.hadoop的mapreduce作业中出现Java heap space，你认为该如何解决？2.Maven编译出现“java.lang. Java heap space”，该如何解决？3.eclipse内存溢出报错：java.lang.OutOfMemoryError:Java heap space，该如何解决？我们经常遇到这样的问题，内存溢出，内存溢出的原因是很简单，...
yarn java,为什么YARN java堆空间内存错误？
weixin_36050604的博客
02-21 182
I want to try about setting memory in YARN, so I'll try to configure some parameter on yarn-site.xml and mapred-site.xml. By the way I use hadoop 2.6.0. But, I get an error when I do a mapreduce job. ...
java.lang.OutOfMemoryError:Java heap space的解决方法
bigfacesafdasgfewgf
03-09 3180
出现这种报错的原因：JAVA的堆栈设置太小。 解决方法：设置JVM参数，让java程序在运行的时候，可以拥有更多的堆栈内存。 如下： 在VM arguments中设置VM参数，也就是允许的堆栈内存大小为：-Xms1024m -Xmx1024m。 默认为64M，太小了，一些大的程序无法运行，我们这里设置为1024M，程序
Yarn下Mapreduce的内存参数理解&xml参数配置
热门推荐
z3935212的专栏
11-26 1万+
Hadoop&yarn内存参数解析&性能调优
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值