Kylin启动异常:java.lang.outofMemoryError:Requested array size exceeds VM limit

【HBase异常】“java.lang.OutOfMemoryError: Requested array size exceeds VM limit” 使用版本CDH5.4.5,HBase1.0.0 刚来新公司不久就出现RegionServer宕机事件,报的异常如下: 2017-05-12 21:15:26,396 FATAL [B.defaultRpcServer.handler=123,queue=6,port=60020] regionserver.RSRpcServices: Run out of memory; RSRpcServices will abort itself immediately java.lang.OutOfMemoryE 阅读详情

问题背景:
1、在Kylin里跑一个较大的cube,其中这个cube是一个大表事实表,关联两张维度表,在第三步: Extract Fact Table Distinct 报错,查看Mapreduce的执行过程,发现其中有4个Reduce执行失败,失败的报错是内存溢出,多次调大reduce的内存以后 ,Kylin闪退。
2、多次启动kylin以后,查看kylin.out 报 Dumping heap to java_pidxxx.hprof….
“java.lang.outofMemoryError:Requested array size exceeds VM limit”
查看 kylin.log ,报仍然启动引起内存溢出的cube

原因分析:
cube在关联字典表时,本身事实表数据量比较大,关联的字典表也比较大,造成内存溢出,Kylin闪退后重启仍然去跑这个cube。

解决方法:
1、删除这个cube,或者把cube的状态改为disable,由于Kylin无法启动,通过api调用不成功,可能通过Kylin管理手册的方式,清除cube数据,清除垃圾数据
2、由于确认事实表hive 表是测试表,我采用了最粗暴的方式,删除了这张hive表,问题解决。

Ubuntu 22.04 安装 PostgreSQL + AGE + pgvector 完全指南 本教程详细介绍了在Ubuntu 22.04服务器上安装PostgreSQL数据库,并为其添加AGE图数据库扩展和pgvector向量搜索扩展的步骤。首先,更新系统并安装PostgreSQL,然后通过源码构建并安装AGE和pgvector扩展。接着,配置PostgreSQL以使用这些扩展,并可选地允许远程连接。教程还包括创建用户、设置密码、验证安装以及安装后的优化建议。最后,提供了常见问题的解决方法。通过本教程,用户可以在同一数据库中处理关系型数据、图数据和向量数据,为现代应用程序提供强大的数据支持。 阅读详情

相关推荐

CVAT实战:从零搭建高效数据标注流水线

本文详细介绍了如何使用CVAT搭建高效的数据标注流水线,从环境部署到团队协作,再到数据流转和质量把控,全面覆盖了数据标注的各个环节。CVAT作为一款开源的数据标注工具,支持多人协作和丰富的标注类型,特别适合遥感图像等复杂场景的标注需求。通过实战案例和技巧分享,帮助读者快速掌握CVAT的核心功能,提升标注效率。

weixin_30555125的博客 399

Java异常 - OutOfMemoryError: Requested array size exceeds VM limit

java.lang.OutOfMemoryError: Requested array size exceeds VM limit JVM对数组长度的有限制,超过这个限制则会出现这个错误。 解决方案(仅供参考) 例如我们构造了一个数组 Object[] array = new Object[Integer.MAX_VALUE]; 这样运行这句代码是会出错的。将其改造成 Object[] arra...

Caesar's blog 5711

OutOfMemoryError系列(7): Requested array size exceeds VM limit

Java平台限制了数组的最大长度。各个版本的具体限制可能稍有不同, 但范围都在 1 ~ 21亿 之间。 如果程序抛出 java.lang.OutOfMemoryError: Requested array size exceeds VM limit 错误, 就说明想要创建的数组长度超过限制。 原因分析 这个错误是由JVM中的本地代码抛出的. 在真正为数组分配内存之前, J

kwame211的博客 1315

从仿真到真机:如何将XTDrone的VINS-Fusion+RTABMap建图方案部署到真实无人机上?

本文详细介绍了如何将XTDrone的VINS-Fusion+RTABMap建图方案从仿真环境迁移到真实无人机上。内容涵盖硬件选型、传感器配置、VINS-Fusion调优、RTABMap性能优化以及系统集成等关键步骤,特别针对三维稠密重建在真实环境中的挑战提供了实用解决方案。

weixin_29056781的博客 244

别再死记硬背了!用Wireshark抓包实战,5分钟搞懂GRE、L2TP、IPsec的区别

本文通过Wireshark抓包实战,详细解析GRE、L2TP和IPsec三大隧道协议的核心差异与应用场景。从报文结构到配置示例,帮助网络工程师快速掌握这些协议的本质,提升VPN部署与故障排查能力。特别适合准备HCIP认证的工程师深化理解。

weixin_30352645的博客 439

java 64位_java内存溢出系列(7): Requested array size exceeds VM limit

本文是java内存溢出系列第7小篇。Java平台限制了数组的最大长度。各个版本的具体限制可能稍有不同, 但范围都在1 ~ 21亿之间。如果程序抛出java.lang.OutOfMemoryError: Requested array size exceeds VM limit错误, 就说明想要创建的数组长度超过限制。原因分析这个错误是由JVM中的本地代码抛出的. 在真正为数组分配...

weixin_39768444的博客 1214

UA MATH567 高维统计I 概率不等式1 Hoeffding不等式与Chernoff不等式

UA MATH567 高维统计I 概率不等式1 Hoeffding不等式与Chernoff不等式 这个系列介绍高维统计,一些需要知道的结论可以参考UA MATH 564与566两个系列,分为两大部分,高维的概率论相关结果、高维的统计模型。概率论相关结论分六个部分介绍:概率不等式、高维随机向量、随机矩阵、Concentration without Independence、二次型、随机过程。 ...

一个不愿透露姓名的博客 2734

内存溢出(OOM)-汇总指南

这就跟现实生活中的宽带运营商类似,他们向所有消费者出售一个100M的带宽,远远超过用户实际使用的带宽,一个10G的链路可以非常轻松的服务100个(10G/100M)用户,但实际上宽带运行商往往会把10G链路用于服务150人或者更多,以便让链路的利用率更高,毕竟空闲在那儿也没什么意义。Native Heap Memory是JVM内部使用的Memory,这部分的Memory可以通过JDK提供的JNI的方式去访问,这部分Memory效率很高,但是管理需要自己去做,如果没有把握最好不要使用,以防出现内存泄露问题。

sre救赎之路 1814

PADS导出PCB正反面丝印为CAD文件的方法

本文介绍如何将PADS绘制的pcb格式的PCB文件顶底层丝印及板框导出为CAD的dxf文件格式,并且将底层丝印进行镜像为正常视角

luguodeyo的博客 3296

麒麟v10系统安装

麒麟v10系统安装

喜文BLOG 1万+

深入Java内存泄漏问题

翻译:吴嘉俊,叩丁狼高级讲师。 经验不足的开发人员经常会认为Java的自动垃圾回收机制会让他们彻底的摆脱内存管理的困扰。这是一个常见的错觉,即使垃圾收集器尽了最大的努力,即使是最好的程序员,也可能成为内存泄漏的牺牲品。容我慢慢道来。 内存泄漏出现在当对象已经不需要了,但是对象仍然被异常的引用。这种泄漏会带来严重后果,随意举一例,你的应用会持续的要求更多的资源,而导致对你的服务器造成不必要的压力...

wolfcode_cn的博客 6750

【科研数据获取】根据Excel表个中的企业/公司信息批量获取经纬度坐标,并进行地图可视化

批量获取企业/公司的经纬度坐标,并进行地图可视化1 需求2 实现途径3 需求逐步实现 1 需求 在做项目的时候,老板或者项目答辩时候甲方最喜欢看到的就是可视化结果,尤其是涉及到地图可视化。很多时候会遇到企业/公司的数据,想要做地图可视化,必不可少的就是要获取它们具体地址:第一种就是像查户口一样精准一下具体的城镇街道,还有一种就是经纬度信息,前一种属于文字内容往往用于管理方面,第二种数字信息多用于数据处理与分析。 2 实现途径 获取地理信息数据,自然需要使用到地图的功能,这里直接采用百度地图的拾取坐标系统,

lys_828的博客 2337

Git 基础教程 - 分支操作、合并分支、解决冲突

作者简介:大家好,我是哥,前中兴通讯、美团架构师,现某互联网公司联系qq:184480602,加我进群,大家一起学习,一起进步,一起对抗互联网寒冬学习必须往深处挖,挖的越深,基础越扎实!

smart_an的专栏 1415

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

OOM-Requested array size exceeds VM limit

在Java中, int类型的最大值为 2^31 – 1 = 2,147,483,647。大多数平台的限制都约等于这个值 —— 例如在 64位的 MB Pro 上, Java 1.7 平台可以分配长度为 2,147,483,645, 以及 Integer.MAX_VALUE-2) 的数组。这个错误是由JVM中的本地代码抛出的. 在真正为数组分配内存之前, JVM会执行一项检查: 要分配的数据结构在该平台是否可以寻址(addressable). 当然, 这个错误比你所想的还要少见得多。

weixin_59691555的博客 652

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

java.lang.OutOfMemoryError: Requested array size exceeds VM limit

--

西安极客联盟 1963

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

7. Requested array size exceeds VM limit

7.1 Requested array size exceeds VM limit 概述 Java对你的应用可以分配的最大数组大小有限制. 准确的限制与平台有关, 但是通常都位于10到21亿元素之间. 当你面临java.lang.OutOfMemoryError: Requested array size exceeds VM limit, 意味着应用因为尝试分配一个大于JVM可以支持的数...

east4ming的博客 1万+

Java内存溢出(OOM)异常排查指南

这也许是目前最为完整的Java OOM异常的解决指南。 1、java.lang.OutOfMemoryError:Java heap space Java应用程序在启动时会指定所需要的内存大小,它被分割成两个不同的区域:Heap space(堆空间)和Permgen(永久代): JVM内存模型示意图 这两个区域的大小可以在JVM(Java虚拟机)启动时通过参数-Xmx和-XX:Max...

weixin_39522897的博客 706

科普文:Java基础之JVM虚拟机系列【万字总结16种OOM问题】

前面我们梳理了6种OOM及其危害和现象,今天在这里我们对oom问题做一个汇总。 ‌Java虚拟机(JVM)在内存不足时会抛出16种常见的OutOfMemoryError(OOM)错误‌,每种错误都有其特定的原因和解决方法。 以下是这16种OOM错误的详细汇总: 1.​‌Java heap space‌: 当堆内存(Heap Space)没有足够空间存放新创建的对象时,会抛出java.lang.OutOfMemoryError: Java heap space错误。常见原因包括请求创建一个超大对象(如大

为无为,事无事,味无味。 1654

科普文:Java基础系列【问题:长整数数组long[]是否可以装下全部长整数数据?】OutOfMemoryError: Requested array size exceeds VM limit

先说结论:不可以。由上面代码,可以看出发生 java.lang.OutOfMemoryError: Requested array size exceeds VM limit 错误的原因可能是: 数组太大, 最终长度超过平台限制值, 但小于 Integer.MAX_INT 为了测试系统限制, 故意分配长度大于 2^31-1 的数组。

为无为,事无事,味无味。 871

【Java开发】之 OOM 内存溢出

OOM,全称 Out Of Memory,意思是内存耗尽或内存溢出。对应Java 程序抛出的错为,这个错误在官方的解释如下:意思就是说,当 JVM 因为没有足够的内存来为对象分配空间并且垃圾回收器也已经没有空间可回收时,就会抛出这个 error(注意:这错误并非 exception,因为这个问题已经严重到不足以被应用处理)。

王廷云的博客 1589

java.lang.OutOfMemoryError异常完全指南

我的职业生涯中见过数以千计的内存溢出异常均与下文中的8种情况相关。本文分析什么情况会导致这些异常出现,提供示例代码的同时为您提供解决指南。 -- Nikita Salnikov-Tarnovski (Plumbr Co-Founder and VP of Engineering) 本文内容来源于Plumbr,对原文内容有删减和补充 这也许是目前最为完整的Java OOM...

抛弃幻想,准备斗争 5133

常见的 OOM 异常分析

常见的 OOM 异常分析(硬核干货) 在《Java虚拟机规范》的规定里,除了程序计数器外,虚拟机内存的其他几个运行时区域都有发生 OutOfMemoryError 异常的可能。 本篇主要包括如下 OOM 的介绍和示例: java.lang.StackOverflowError java.lang.OutOfMemoryError: Java heap space java.lang.OutOfMemoryError: GC overhead limit exceede.

wangzhipeng47的博客 846

IDEA报错内存溢出解决(java.lang.OutOfMemoryError)

IDEA内存溢出解决方案:1)优化构建配置,在Compiler设置中调整内存;2)修改VM选项-Xms1024m -Xmx4096m;3)配置Gradle/Maven内存参数;4)关闭冗余插件、分模块处理项目、定期清理缓存。综合调整才能有效解决内存问题,需注意不同设置间的协同作用。

weixin_56527269的博客 4399

java数组限制,如何修复“请求的数组大小超过VM限制” Java中的错误?

Is there an log option that can let tomcat log the bad query instead just throwing this ?SEVERE: java.lang.OutOfMemoryError: Requested array size exceeds VM limit(Tried log level to FULL, but only cap...

weixin_36165398的博客 793

麒麟 kylin v10 OOM内存溢出

问题现象 麒麟v10系统不停吃系统内存,最后导致宕机 系统日志还有bfree=0 threshod_size=75,fs_space_warning=1打印 问题原因 系统bug 解决方法 方法1:升级auditd服务 方法2:禁用auditd服务 sudo systemctl stop auditd && sudo systemctl disable auditd ...

lingmeng447的专栏 1万+
上一篇: Linux服务器重启失败,报错Readonly File system
下一篇: Linux yum 安装MariaDB
Ronney-Hua
博客等级 码龄10年 48粉丝 74原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值