Phoenix偶尔出现OutOfMemoryError的问题排查

最新推荐文章于 2024-07-16 08:00:00 发布
原创 最新推荐文章于 2024-07-16 08:00:00 发布 · 1.4k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Phoenix

在使用Phoenix通过sqlline执行查询时遇到偶发的OutOfMemoryError。最初认为是Phoenix或HBase的配置问题，但调整参数未解决问题。后来发现是Linux系统限制，max user processes默认值为1024，将其增加到241463后，解决了该错误。

最近在使用Phoenix，采用sqlline模式执行的时候，经常时不时的出现OutOfMemoryError错误，如下：

java.lang.OutOfMemoryError: unable to create new native thread

刚开始一直以为的Phoenix和HBase的参数设置问题，经过多次调测，问题依然没有解决，后来才发现的Linux系统的参数设置问题。原先Linux的max user processes设置为1024，将其修改为241463之后，问题解决。

如何有效判断与排查Java GC问题
曾经“等你生日那天”都遥远得像未来，如今却可欢愉的挥手说“下个十年见”
03-02 16万+
本文介绍了Java垃圾回收（GC）的基本原理及其优化策略。通过分析GC的工作机制，探讨了常见的GC类型、内存管理模型及其对应用性能的影响。文章还详细阐述了如何通过调整JVM参数、选择合适的GC算法和分析GC日志来优化内存回收效率。通过这些实用的优化方法，开发者可以有效减少GC暂停时间，提高应用的响应速度和吞吐量。
【outOfMemoryError】排查思路与解决方案
weixin_39439156的博客
02-22 1016
不好啦❗ 天塌了❗ 系统崩了❗快看啊，程序了🙈我的心里活动：“哈哈哈😀哈哈哈😀终于给我碰上了，这个问题可很少发生啊，又积累一个问题。虽然我昨天发了版本，但是作为公司技术最好，长得最帅的我，代码肯定不出现这个问题。不想看废话的直接看【解决过程和方案】 吧由于工程师分组统计方式错误的实现，本来在数据库统计就行了，然而Android老哥却全部查询出来，然后再程序统计导致的内存溢出。本篇文章分享了我去排查有趣的是，上午定位到问题，并确认是Android老哥写的，下午老哥就被约谈了，喜提大礼包。
phoenix java game_java - 使用Java从Apache Phoenix读取和写入的Apache Spark方法 - 堆栈内存溢出...
weixin_39984201的博客
02-25 166
这是如何从凤凰读/写的例子import org.apache.spark.SparkConf;import org.apache.spark.SparkContext;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.sql.DataFrame;import org.apache.spark.sql....
云主机内存不够的解决办法
bloestone的博客
02-19 1584
购买了一个1G内存云主机，装了docker，发现在里面执行make报如下错误，怀疑是内存不够所致，几乎把所有程序都停了，编译还是报一样的错误，于是打算加点内存，发现加1G内存至少需要1K多的money，太贵了。 c++: fatal error: Killed signal terminated program cc1plus 于是想是否可以增加虚拟内存，在网上找了增加虚拟内存的方法，试了还...
java Exception Throwable Error总结
zhaoyang10的专栏
01-11 389
一般面试中java Exception（runtimeException ）是必会被问到的问题 常见的异常列出四五种，是基本要求。更多的。。。。需要注意积累了 常见的几种如下： NullPointerException - 空指针引用异常 ClassCastException - 类型强制转换异常。 IllegalArgumentException - 传递非法参数异常。 ArithmeticEx...
phoenix常见问题总结
zjx_z的博客
09-29 1488
最近整合项目的时候遇到一些问题，记录并分享一下： 首先，保证phoenix和hbase版本match，并保存client jar用来项目远程jdbc连接。 问题1：连接池的问题 phoenix不需要连接池，原因：1.hbase连接的代价很小。2.hbase的连接不能共享。 但是为了项目的美观，我还是配置了阿里的druid连接池去管理。 问题2：项目集成问题 刚开始我没有集成spring，只是简单的maven项目通过jdbc的方式连接phoenix，进行增删改查没有遇到问题。 当我集成sprin
phoenix 查询记录(内存不足、有趣的等效SQL、exists)
继续，Let's Go!
12-12 1192
-- hbase两张大表join查询，存在性能与逻辑的问题(特别是分页)。 -- 不同数据，需要在进入Hbase前进行整合，大数据只存在一张表。 -- 两张 200W+的表join，内存不足报错 select t1.seq_id,t2.country from T_EXTENSION_SHOW t1 inner join T_EXTENSION_LOGIN t2 on(t1.sho...
OutOfMemoryError异常OOM排查
Blueeyedboy521的博客
07-16 1070
OutOfMemoryError 是 Java 虚拟机（JVM）抛出的一种错误，表示程序在尝试分配对象时无法获得足够的内存。这通常是由于应用程序内存泄漏、内存溢出或者程序需要的内存超过了 JVM 的限制所引起的。原文链接：https://blog.youkuaiyun.com/TreeShu321/article/details/135255821。内存泄漏： 未被使用的对象或者引用未被正确释放，导致堆积的对象占用了大量内存。内存资源耗尽： 应用程序需要的内存资源超过了 JVM 配置的最大堆大小。
OutOfMemoryError：内存溢出问题
最新发布
12-22
Compile javac OutOfMemorySimulator.java javac OomSimulatorWithThread.java Run Code java -Xmx100m OutOfMemorySimulator java -Xmx100m OomSimulatorWithThread List of Java processes jps -l Manual Heap ...
RuntimeError:CUDA error:out of memory问题解决
热门推荐
Slim's Hello World
03-14 4万+
报错如下 思路 简洁明了，他已经告诉你了，默认使用的那gpu内存不足。 在操作系统输入如下，查一下memory现在的状态： nvidia-smi 害，发现GPU-0有一个进程正在执行导致1GB剩余都不够。 我们用GPU-1执行就行啦！ 问题解决 python文件中： import os os.environ["CUDA_VISIBLE_DEVICES"] = '1' 解决了。 ...
Running setup.py install for Twisted ... error 解决办法
____
06-15 2万+
安装报错提示 安装pip install Scrapy 报错提示 Running setup.py install for Twisted ... error ，具体内容： Exception: Traceback (most recent call last): File "c:\users\administrator\appdata\local\programs\python\pyth...
ProcessPhoenix使用方法 Android应用报错自动重启的方法
烧烤电影香烟和啤酒
08-02 3995
使用ProcessPhoenix库
使用phoenix出现的问题
mn_kw的博客
05-15 2565
java编程使用phoenix操作hbase数据库出现以上问题，我们应该将我们的phoenix.url=jdbc:phoenix:192.168.1.113:2181改成phoenix.url=jdbc:phoenix:192.168.1.113:2181:/hbase-unsecure即可...
解决运行出现CUDA error:out of memory的问题
qq_30653631的博客
07-04 4万+
模型运行出现以下问题，经过查找资料发现解决方案如下： CUDA_VISIBLE_DEVICES限制一下使用的GPU。 比如有0,1,2,3号GPU，CUDA_VISIBLE_DEVICES=2,3，则当前进程的可见GPU只有物理上的2、3号GPU，此时它们的编号也对应变成了0、1，即cuda:0对应2号GPU，cuda:1对应3号GPU。 如何设置CUDA_VISIBLE_DEVICES: ① 使用python的os模块 import os os.environ[‘CUDA_VISIBLE_DEVICES
找不到GPU资源——[显存充足，但是却出现CUDA error:out of memory错误]
椰子奶糖的博客
02-03 3万+
说明: 系统：Centos（Redhat） 环境：python3.6+pytorch1.4.0（gpu）+tensorflow2.0.0（cpu） Cuda：9.2 Cudnn：7.0.6？ 模型 YOLOv3 描述 图找不到了，就去隔壁偷了一张（传送） 在运行git上的yolov3目标检测项目的时候尝试使用GPU加速，结果爆出CUDA error:out of memory 隔壁说是找不...
记录运行gpu错误及解决方案
ningyanggege的博客
08-21 9255
tensorflow.python.framework.errors_impl.InternalError: Dst tensor is not initialized 解决方案：运行程序之前，先运行export CUDA_VISIBLE_DEVICES=1；如图所示： 最后结果：虽然成功运行，但CPU爆满，GPU使用率为0，没有用到GPU +----------------------...
初次使用GPU，遇到的一些cuda error及解决办法
肥仔的博客
04-02 6503
1.GPU RuntimeError: CUDA error: invalid device ordinal 解决办法：可能是在程序的多个地方都定义了使用的cuda编号，即使编号是一样的也会报这样的错误。解决办法是只保留一个 2.使用os.environ['CUDA_VISIBLE_DEVICES'] = 'x'指定使用的GPU编号后，实际使用时还是0号GPU 解决办法：把这个语句用到所有需要加载参数、数据的语句前，最方便的就是在import各种包时顺便用os.environ[‘CUDA_VISIBLE_D
Java常见问题深度排查与解决策略
本文主要聚焦于Java常见问题的排查，包括但不限于`NoSuchMethodException`、应用无响应、调用另一应用超时、内存溢出（`OutOfMemoryError`）、以及CPU使用率异常（如CPUus高、CPUsy高和CPUiowait高）等问题。...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值