解决 - java.lang.OutOfMemoryError: unable to create new native thread

本文通过一个测试程序展示了Java环境中因过多线程创建而导致的内存溢出错误,并详细分析了问题产生的原因,提供了具体的计算公式及解决方案。


工作中碰到过这个问题好几次了,觉得有必要总结一下,所以有了这篇文章,这篇文章分为三个部分:认识问题、分析问题、解决问题。

http://sesame.iteye.com/blog/622670

一、认识问题:

首先我们通过下面这个测试程序 来认识这个问题:
运行的环境 (有必要说明一下,不同环境会有不同的结果):32位 Windows XP,Sun JDK 1.6.0_18, eclipse 3.4,
测试程序:

Java代码 复制代码 收藏代码
  1. importjava.util.concurrent.CountDownLatch;
  2. publicclassTestNativeOutOfMemoryError{
  3. publicstaticvoidmain(String[]args){
  4. for(inti=0;;i++){
  5. System.out.println("i="+i);
  6. newThread(newHoldThread()).start();
  7. }
  8. }
  9. }
  10. classHoldThreadextendsThread{
  11. CountDownLatchcdl=newCountDownLatch(1);
  12. publicHoldThread(){
  13. this.setDaemon(true);
  14. }
  15. publicvoidrun(){
  16. try{
  17. cdl.await();
  18. }catch(InterruptedExceptione){
  19. }
  20. }
  21. }
import java.util.concurrent.CountDownLatch;

public class TestNativeOutOfMemoryError {

	public static void main(String[] args) {

		for (int i = 0;; i++) {
			System.out.println("i = " + i);
			new Thread(new HoldThread()).start();
		}
	}

}

class HoldThread extends Thread {
	CountDownLatch cdl = new CountDownLatch(1);

	public HoldThread() {
		this.setDaemon(true);
	}

	public void run() {
		try {
			cdl.await();
		} catch (InterruptedException e) {
		}
	}
}

不指定任何JVM参数,eclipse中直接运行输出,看到了这位朋友了吧:
i = 5602

Exception in thread "main" java.lang.OutOfMemoryError: unable to create new native thread
at java.lang.Thread.start0(Native Method)
at java.lang.Thread.start(Thread.java:597)
at TestNativeOutOfMemoryError.main(TestNativeOutOfMemoryError.java:20)

二、分析问题:

这个异常问题本质原因是我们创建了太多的线程,而能创建的线程数是有限制的,导致了异常的发生。能创建的线程数的具体计算公式如下:
(MaxProcessMemory - JVMMemory - ReservedOsMemory) / (ThreadStackSize) = Number of threads
MaxProcessMemory 指的是一个进程的最大内存
JVMMemory JVM内存
ReservedOsMemory 保留的操作系统内存
ThreadStackSize 线程栈的大小

在java语言里, 当你创建一个线程的时候,虚拟机会在JVM内存创建一个Thread对象同时创建一个操作系统线程,而这个系统线程的内存用的不是JVMMemory,而是系统中剩下的内存(MaxProcessMemory - JVMMemory - ReservedOsMemory)。


结合上面例子我们来对公式说明一下:
MaxProcessMemory 在32位的 windows下是 2G
JVMMemory eclipse默认启动的程序内存是64M
ReservedOsMemory 一般是130M左右
ThreadStackSize 32位 JDK 1.6默认的stacksize 325K左右
公式如下:
(2*1024*1024-64*1024-130*1024)/325 = 5841
公式计算所得5841,和实践5602基本一致(有偏差是因为ReservedOsMemory不能很精确)


由公式得出结论:你给JVM内存越多,那么你能创建的线程越少,越容易发生java.lang.OutOfMemoryError: unable to create new native thread。

咦,有点背我们的常理,恩,让我们来验证一下,依旧使用上面的测试程序,加上下面的JVM参数,测试结果如下:
ThreadStackSize JVMMemory 能创建的线程数
默认的325K -Xms1024m -Xmx1024m i = 2655
默认的325K -Xms1224m -Xmx1224m i = 2072
默认的325K -Xms1324m -Xmx1324m i = 1753
默认的325K -Xms1424m -Xmx1424m i = 1435
-Xss1024k -Xms1424m -Xmx1424m i = 452

完全和公式一致。

三、解决问题:
1, 如果程序中有bug,导致创建大量不需要的线程或者线程没有及时回收,那么必须解决这个bug,修改参数是不能解决问题的。
2, 如果程序确实需要大量的线程,现有的设置不能达到要求,那么可以通过修改MaxProcessMemory,JVMMemory,ThreadStackSize这三个因素,来增加能创建的线程数:
a, MaxProcessMemory 使用64位操作系统
b, JVMMemory 减少JVMMemory的分配
c, ThreadStackSize 减小单个线程的栈大小

### 诊断与解决 `java.lang.OutOfMemoryError: unable to create new native thread` 当 JVM 抛出 `java.lang.OutOfMemoryError: unable to create new native thread` 异常时,表示 JVM 无法为新线程分配操作系统级别的线程资源。这种错误通常发生在系统资源(尤其是内存)耗尽的情况下,而非 JVM 内存不足。JVM 创建线程时,操作系统会为每个线程分配独立的栈空间,这部分内存并不来自 JVM 的堆内存,而是从系统剩余内存中分配[^3]。 #### 常见原因分析 1. **线程数超过系统限制** 操作系统对每个用户进程可创建的线程数有限制,若线程数达到上限,则无法创建新线程。例如在 Linux 系统中,可以通过 `ulimit -u` 查看当前用户允许的最大线程数(或进程数)。 2. **线程栈大小设置过高** 每个线程默认分配的栈空间大小(由 JVM 参数 `-Xss` 控制)直接影响线程数量。例如,默认 `-Xss1m` 表示每个线程分配 1MB 的栈空间。若物理内存有限,线程数将受到显著限制[^4]。 3. **JVM 堆内存设置过大** 若 `-Xmx` 设置的堆内存过大,可能导致系统剩余内存不足以支持创建新线程。例如在一台 8GB 内存的服务器上,若 JVM 堆设置为 5GB,系统保留内存为 500MB,则剩余 2.5GB 用于线程栈分配,若每个线程栈为 1MB,则最多只能创建约 2500 个线程[^4]。 4. **线程泄漏或资源未释放** 若应用程序未正确释放线程资源(如未关闭线程池、未回收线程等),可能导致线程数持续增长,最终耗尽系统资源。 #### 解决方案 1. **调整线程栈大小** 适当减小线程栈大小可以显著提高可创建的线程数。例如设置 `-Xss256k` 可将每个线程栈大小减少至 256KB,从而提升线程总数[^4]。 示例 JVM 启动参数: ```bash java -Xms512m -Xmx2g -Xss256k -jar your-application.jar ``` 2. **调整系统线程限制** 在 Linux 系统中,可以临时修改线程限制: ```bash ulimit -u 8192 ``` 或者在 `/etc/security/limits.conf` 中永久设置: ```conf * soft nproc 8192 * hard nproc 8192 ``` 3. **优化线程池配置** 避免无限制创建线程,使用线程池进行线程复用。例如使用 `ThreadPoolTaskExecutor` 或 `ForkJoinPool` 等机制来控制线程数量,防止线程爆炸式增长。 4. **监控与分析线程使用情况** 使用工具如 `jstack` 获取线程堆栈信息,分析线程状态,识别是否存在线程阻塞或死锁问题。 示例获取线程转储: ```bash jstack <pid> > thread_dump.log ``` 5. **检查线程泄漏** 查看线程池或任务调度器是否在任务完成后释放线程,确保所有线程最终进入终止状态。 #### 示例:线程数计算与内存分配 假设服务器总内存为 8GB,JVM 堆设置为 5GB,系统保留内存为 500MB,则剩余内存为 2.5GB。若每个线程栈为 1MB,则理论上最多可创建 2500 个线程。若线程栈设置为 256KB,则可创建线程数约为 10000 个[^4]。 --- ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值