Java中OutOfMemoryError与unable to create new native thread(JVM创建大量线程)的关系

最近在应用服务器跑压力测试过程当中,出现无法创建线程的错误。
在java应用中,有时候会出现这样的错误:OutOfMemoryError: unable to create new native thread.这种怪事是因为JVM已经被系统分配了大量的内存(比如1.5G),并且它至少要占用可用内存的一半。有人发现,在线程个数很多的情况下,你分配给JVM的内存越多,那么,上述错误发生的可能性就越大。


那么是什么原因造成这种问题呢?

每一个32位的进程最多可以使用2G的可用内存,因为另外2G被操作系统保留。这里假设使用1.5G给JVM,那么还余下500M可用内存。这500M内存中的一部分必须用于系统dll的加载,那么真正剩下的也许只有400M,现在关键的地方出现了:当你使用Java创建一个线程,在JVM的内存里也会创建一个Thread对象,但是同时也会在操作系统里创建一个真正的物理线程(参考JVM规范),操作系统会在余下的400兆内存里创建这个物理线程,而不是在JVM的1500M的内存堆里创建。在jdk1.4里头,默认的栈大小是256KB,但是在jdk1.5里头,默认的栈大小为1M每线程,因此,在余下400M的可用内存里边我们最多也只能创建400个可用线程

这样结论就出来了,要想创建更多的线程,你必须减少分配给JVM的最大内存。还有一种做法是让JVM宿主在你的JNI代码里边。

给出一个有关能够创建线程的最大个数的估算公式:

(MaxProcessMemory - JVMMemory - ReservedOsMemory) / (ThreadStackSize) = Number of threads

对于jdk1.5而言,假设操作系统保留120M内存:
1.5GB JVM: (2GB-1.5Gb-120MB)/(1MB) = ~380 threads
1.0GB JVM: (2GB-1.0Gb-120MB)/(1MB) = ~880 threads

对于栈大小为256KB的jdk1.4而言,
1.5GB allocated to JVM: ~1520 threads
1.0GB allocated to JVM: ~3520 threads

如果我没有记错的话,在2000/XP/2003里头有一个启动选项,好像是:/PAE /3G ,可以让用户进程最大内存扩充至3G,这时操作系统只能占用最多1G的虚存。那样应该可以让JVM创建更多的线程
### 诊断解决 `java.lang.OutOfMemoryError: unable to create new native thread` 当 JVM 抛出 `java.lang.OutOfMemoryError: unable to create new native thread` 异常时,表示 JVM 无法为新线程分配操作系统级别的线程资源。这种错误通常发生在系统资源(尤其是内存)耗尽的情况下,而非 JVM 内存不足。JVM 创建线程时,操作系统会为每个线程分配独立的栈空间,这部分内存并不来自 JVM 的堆内存,而是从系统剩余内存中分配[^3]。 #### 常见原因分析 1. **线程数超过系统限制** 操作系统对每个用户进程可创建线程数有限制,若线程数达到上限,则无法创建线程。例如在 Linux 系统中,可以通过 `ulimit -u` 查看当前用户允许的最大线程数(或进程数)。 2. **线程栈大小设置过高** 每个线程默认分配的栈空间大小(由 JVM 参数 `-Xss` 控制)直接影响线程数量。例如,默认 `-Xss1m` 表示每个线程分配 1MB 的栈空间。若物理内存有限,线程数将受到显著限制[^4]。 3. **JVM 堆内存设置过大** 若 `-Xmx` 设置的堆内存过大,可能导致系统剩余内存不足以支持创建线程。例如在一台 8GB 内存的服务器上,若 JVM 堆设置为 5GB,系统保留内存为 500MB,则剩余 2.5GB 用于线程栈分配,若每个线程栈为 1MB,则最多只能创建约 2500 个线程[^4]。 4. **线程泄漏或资源未释放** 若应用程序未正确释放线程资源(如未关闭线程池、未回收线程等),可能导致线程数持续增长,最终耗尽系统资源。 #### 解决方案 1. **调整线程栈大小** 适当减小线程栈大小可以显著提高可创建线程数。例如设置 `-Xss256k` 可将每个线程栈大小减少至 256KB,从而提升线程总数[^4]。 示例 JVM 启动参数: ```bash java -Xms512m -Xmx2g -Xss256k -jar your-application.jar ``` 2. **调整系统线程限制** 在 Linux 系统中,可以临时修改线程限制: ```bash ulimit -u 8192 ``` 或者在 `/etc/security/limits.conf` 中永久设置: ```conf * soft nproc 8192 * hard nproc 8192 ``` 3. **优化线程池配置** 避免无限制创建线程,使用线程池进行线程复用。例如使用 `ThreadPoolTaskExecutor` 或 `ForkJoinPool` 等机制来控制线程数量,防止线程爆炸式增长。 4. **监控分析线程使用情况** 使用工具如 `jstack` 获取线程堆栈信息,分析线程状态,识别是否存在线程阻塞或死锁问题。 示例获取线程转储: ```bash jstack <pid> > thread_dump.log ``` 5. **检查线程泄漏** 查看线程池或任务调度器是否在任务完成后释放线程,确保所有线程最终进入终止状态。 #### 示例:线程数计算内存分配 假设服务器总内存为 8GB,JVM 堆设置为 5GB,系统保留内存为 500MB,则剩余内存为 2.5GB。若每个线程栈为 1MB,则理论上最多可创建 2500 个线程。若线程栈设置为 256KB,则可创建线程数约为 10000 个[^4]。 --- ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值