oracle主机产生大量defunct进程

最新推荐文章于 2022-10-27 14:46:03 发布
最新推荐文章于 2022-10-27 14:46:03 发布
阅读量1.3k 收藏
点赞数
分类专栏： oracle 文章标签： oracle 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_40410849/article/details/79642836
版权
本文探讨了数据库连接异常问题，特别是在OS资源不足的情况下，分析了与ORA-27300等相关错误的原因，并提供了排查僵尸进程和系统限制的具体步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

=====DB update====
1)我为您贴的内容来自03:00:32的ps输出，这些非数据库进程在第一时间和数据库进程一起同时处于defunct状态，
而非先是数据库进程产生defunct，然后才有其他defunct进程。

filename=cnsz081498_ps_18.03.19.0300.dat

zzz ***Mon Mar 19 03:00:32 CST 2018

osoracle 10006 1 19 2.5 0.0 0 0 exit Z 03:00:29 00:00:00 [bash]
palog 5039 1 19 0.0 0.0 0 0 exit Z 03:00:07 00:00:00 [sshd]
grid 3701 1 19 0.0 0.0 0 0 exit Z 03:00:00 00:00:00 [asm_m000_+asm4]
osoracle 10408 1 19 2.5 0.0 0 0 exit Z 03:00:29 00:00:00 [bash]
osoracle 10403 1 19 0.0 0.0 0 0 exit Z 03:00:29 00:00:00 [flock]

2)关于您的疑问”4:00的时候OS命令操作都是正常的，只是数据库不能连接。”

数据库连接异常是因为OS 资源不足错误并报错ORA-27300: OS system dependent operation:fork failed with status: 11：

Mon Mar 19 04:06:15 2018
Process startup failed, error stack:
Mon Mar 19 04:06:15 2018
Errors in file /test1/app/oracle/rdbms/diag/rdbms/eginv/eginv/trace/eginv_psp0_16375.trc:
ORA-27300: OS system dependent operation:fork failed with status: 11
ORA-27301: OS failure message: Resource temporarily unavailable
ORA-27302: failure occurred at: skgpspawn3
Mon Mar 19 04:06:16 2018
Process m000 died, see its trace file
Mon Mar 19 04:06:16 2018
Process startup failed, error stack:
Mon Mar 19 04:06:16 2018
Errors in file /test1/app/oracle/rdbms/diag/rdbms/eginv/eginv/trace/eginv_psp0_16375.trc:
ORA-27300: OS system dependent operation:fork failed with status: 11
ORA-27301: OS failure message: Resource temporarily unavailable
ORA-27302: failure occurred at: skgpspawn3
Process m001 died, see its trace file

关于ORA-27300 ORA-27301 ORA-27302错误和STATUS 11以下文档有详细描述它们是OS系统调用错误：

Troubleshooting ORA-27300 ORA-27301 ORA-27302 Errors ( Doc ID 579365.1 )

STATUS 11 - EAGAIN No more processes
Executing a fork and the system’s process table is full, or the user is not allowed to create more process.

<=======system’s process table is full, or the user is not allowed to create more process.

数据库无法连接时能正常执行OS命令，这是正常的，因为实际的问题只是数据库用户osoracle无法fork新的进程了，
但是OS资源是空闲的，OSW可以看到CPU，内存都是足够free的。
GI命令能正常执行也是正常的，因为执行这些命令都不需要创建新的进程，但是连接数据库就必须创建一个新的后台进程。

3)关于irpkm2库，首先，它也在第一时间产生了defunct进程：

filename=cnsz081498_ps_18.03.19.0300.dat
zzz ***Mon Mar 19 03:00:32 CST 2018

osoracle 8640 1 19 0.6 0.0 0 0 exit Z 03:00:28 00:00:00 [oracle_8640_irp]
osoracle 8504 1 19 0.6 0.0 0 0 exit Z 03:00:28 00:00:00 [oracle_8504_irp]
osoracle 8380 1 19 0.3 0.0 0 0 exit Z 03:00:28 00:00:00 [oracle_8380_irp]
osoracle 5920 1 19 0.2 0.0 0 0 exit Z 03:00:22 00:00:00 [oracle_5920_irp]
osoracle 5914 1 19 1.8 0.0 0 0 exit Z 03:00:21 00:00:00 [oracle_5914_irp]
osoracle 5847 1 19 0.1 0.0 0 0 exit Z 03:00:21 00:00:00 [oracle_5847_irp]
osoracle 5836 1 19 0.2 0.0 0 0 exit Z 03:00:21 00:00:00 [oracle_5836_irp]
osoracle 5824 1 19 0.4 0.0 0 0 exit Z 03:00:20 00:00:00 [oracle_5824_irp]
osoracle 5820 1 19 0.1 0.0 0 0 exit Z 03:00:20 00:00:00 [oracle_5820_irp]
osoracle 4637 1 19 0.0 0.0 0 0 exit Z 03:00:05 00:00:00 [oracle_4637_irp]
osoracle 4615 1 19 1.3 0.0 0 0 exit Z 03:00:05 00:00:00 [oracle_4615_irp]
osoracle 4420 1 19 0.1 0.0 0 0 exit Z 03:00:02 00:00:00 [oracle_4420_irp]
osoracle 4409 1 19 0.0 0.0 0 0 exit Z 03:00:02 00:00:00 [oracle_4409_irp]
osoracle 4407 1 19 0.0 0.0 0 0 exit Z 03:00:02 00:00:00 [oracle_4407_irp]
osoracle 4405 1 19 0.0 0.0 0 0 exit Z 03:00:02 00:00:00 [ora_m000_irpkm2]
osoracle 4383 1 19 0.0 0.0 0 0 exit Z 03:00:01 00:00:00 [oracle_4383_irp]
osoracle 3811 1 19 0.0 0.0 0 0 exit Z 03:00:00 00:00:00 [oracle_3811_irp]
osoracle 11498 1 19 4.0 0.0 0 0 exit Z 03:00:30 00:00:00 [ora_m000_irpkm2]
osoracle 10334 1 19 27.0 0.0 0 0 exit Z 03:00:29 00:00:00 [ora_m001_irpkm2]
osoracle 10301 1 19 1.0 0.0 0 0 exit Z 03:00:29 00:00:00 [ora_m000_irpkm2]
osoracle 4405 1 19 0.0 0.0 0 0 exit Z 03:00:02 00:00:00 [ora_m000_irpkm2]
osoracle 11498 1 19 4.0 0.0 0 0 exit Z 03:00:30 00:00:00 [ora_m000_irpkm2]
osoracle 10334 1 19 27.0 0.0 0 0 exit Z 03:00:29 00:00:00 [ora_m001_irpkm2]
osoracle 10301 1 19 1.0 0.0 0 0 exit Z 03:00:29 00:00:00 [ora_m000_irpkm2]

但是它到4:06的时候，仍然是可以连接的，这是因为irpkm2的listener在12月11日重启了。而其他有问题的listener是在7月6日启动的。

osoracle 29815 1 19 0.0 0.0 102676 13516 ep_pol S Jul 06 00:38:01 /test1/app/oracle/rdbms/12c/12.1.0.2.160119/bin/tnslsnr phwww -inherit
osoracle 29013 1 19 0.0 0.0 103184 14084 ep_pol S Dec 11 00:24:53 /test1/app/oracle/rdbms/12c/12.1.0.2.160119/bin/tnslsnr irpkm2 -inherit
osoracle 17773 1 19 0.3 0.0 103492 14248 ep_pol S Jul 06 18:45:58 /test1/app/oracle/rdbms/12c/12.1.0.2.160119/bin/tnslsnr pens2 -inherit
osoracle 17689 1 19 0.0 0.0 104992 15796 ep_pol S Jul 06 02:59:44 /test1/app/oracle/rdbms/12c/12.1.0.2.160119/bin/tnslsnr invest -inherit
osoracle 17214 1 19 0.0 0.0 103064 13888 ep_pol S Jul 06 00:40:27 /test1/app/oracle/rdbms/12c/12.1.0.2.160119/bin/tnslsnr rsas -inherit
osoracle 17205 1 19 0.0 0.0 102964 13776 ep_pol S Jul 06 01:02:28 /test1/app/oracle/rdbms/12c/12.1.0.2.160119/bin/tnslsnr omcp -inherit
osoracle 16471 1 19 0.0 0.0 104164 14864 ep_pol S Jul 06 00:34:04 /test1/app/oracle/rdbms/12c/12.1.0.2.160119/bin/tnslsnr pare -inherit
osoracle 16371 1 19 0.0 0.0 104952 15732 ep_pol S Jul 06 02:20:29 /test1/app/oracle/rdbms/12c/12.1.0.2.160119/bin/tnslsnr eginv -inherit
grid 29703 1 19 0.0 0.0 168068 13904 ep_pol S Jul 06 00:06:31 /oracle_grid/12.1.0/grid/bin/tnslsnr LISTENER_SCAN1 -no_crs_notify -inherit
grid 25070 1 19 0.0 0.0 168044 13676 ep_pol S Jul 06 00:06:43 /oracle_grid/12.1.0/grid/bin/tnslsnr LISTENER -no_crs_notify -inherit

这是可能因为在7月6日到12月11日之间，您修改了osoracle用户的nproc限制。

您上传的/etc/security/limits.conf显示已经设置 nproc 655360，但是OS层面上osoracle的进程数达到15000多个时，就无法创建osoracle进程了。
* soft nproc 655360
* hard nproc 655360
osoracle soft nproc 655360
osoracle hard nproc 655360

这个值在7月6日到12月11日之间，从15000修改到了655360，但是7月6日启动的listener进程会继承之前的limit值，并保存在/proc//limits中，
由该listener fork出来的进程会受保存的limits限制，而不是新的值655360。
修改limits后重新启动的listener及由listener fork出来的新进程，受新的limits限制。

4)实际上我们讨论了两个问题，一个是3:00开始产生defunct进程的问题，另一个是4:06开始数据库无法连接的问题。
4:06开始数据库无法连接的问题是由defunct进程累积，导致OS层面上osoracle的进程数达到15000多个之后，listener进程在旧的nproc limits值设置下无法fork新的进程导致的。
我们需要关注和解决的是”3:00开始产生defunct进程的问题”。

5)分享我的一些发现：
这些进程是刚刚创建几秒就退出，变成了僵尸进程，比如在OSW的PS输出中03:00:32捕捉到了 03:00:29创建的进程就变成僵尸进程了

zzz ***Mon Mar 19 03:00:32 CST 2018
osoracle 9899 1 19 1.5 0.0 0 0 exit Z 03:00:29 00:00:00 [oracle_9899_phw] <=======status ‘exit’, these processes were newly created at 03:00:29 but was exiting shortly.
《======start time 03:00:29，也就是该进程在03:00:29创建，1-2秒后就退出了。

而且03:00:32采样点中的所有defunct进程全部都是02:59:47到03:00:29之间创建的，最早的进程是：
osoracle 40955 1 19 8.0 0.0 0 0 exit Z 02:59:47 00:00:03 [oracle_40955_pa]

有两种可能性：
1)02:59:47启动了什么定时脚本，创建了一些进程，这些进程会在几秒后退出，触发了OS bug导致进程资源无法被清理。
2)或者，”进程短时间连接数据库并退出”是应用程序正常的行为，问题只是在于OS的某个资源无法被清理，或者某个系统调用无法正常处理，
导致之后所有尝试退出的进程都会挂住，并变成僵尸进程。
以当时僵尸进程累积的速度看，应该是所有退出进程都会变成僵尸进程，而不是某种特殊操作导致的。

ACTION PLAN

建议在问题重现时搜集以下信息：

1)在问题发生时，及时查询僵尸进程的callstack等信息：
cat /proc/40470/stack
cat /proc/40470/limits

2)可以做一个strace，登录数据库并退出，看是否会留下僵尸进程无法清理。
strace -frT -o /tmp/strace.log sqlplus / as sysdba <

一线运维 DBA 五年经验常用 SQL 大全
tttzzzqqq2018的博客
12-16 1280
一线运维 DBA 五年经验常用 SQL 大全
软件测试八股文整理
weixin_45730522的博客
07-11 4286
软件测试面试题，经典八股文题
oracle杀僵死进程
08-08
oracle杀僵死进程，解决无法停库等异常问题。
oracle下defunct,AIX僵死(defunct)进程故障分析（Aix）
weixin_39887925的博客
04-15 491
故障描述：S80主机系统出现了大量的僵死(defunct)进程，由于这些进程不能自动终止，导致系统的进程数资源不能释放，因此，如果继续增多，到达系统设定的进程总数，用户的应用和生产将受到影响。故障分析：在AIX操作系统中，任何进程的结束或终止将会通报其父进程(parentprocess)，父进程会收集子进程的状态信息，并使子进程完全结束。如果父进程不能及时完整地收集该进程的状态信息，则即使子进程结...
oracle function
iteye_19373的博客
08-25 78
详情见附件
oracle 总僵尸进程,[sh] <defunct>等僵尸进程，导致系统非常缓慢(ORA-00445)
weixin_28787801的博客
04-06 647
In this DocumentAPPLIES TO:Oracle Database - Enterprise Edition - Version 11.2.0.1 to 12.1.0.1 [Release 11.2 to 12.1]CRM On Demand - Version N/A to N/AIBM: Linux on System zLinux x86-64Linux x86SYMPTO...
防止僵尸进程（defunct）
Leeboy_Wang的专栏
03-13 2392
僵尸进程
测试、测试开发面试准备和复习
weixin_39618279的博客
03-12 3104
测开面试复习文档 一：网络知识方面 基础的网络通信知识 Cookie：记住身份信息，将我们在网站的行为记录号，自动登录账号，不用重新登录账号，可以将我们查的东西来推广告 Token：在计算机身份认证中是令牌(临时)的意思，在词法分析中是标记的意思。一般作为邀请、登录系统使用。 token其实说的更通俗点可以叫暗号，在一些数据传输之前，要先进行暗号的核对，不同的暗号被授权...
测试基础-面试
qq_42199510的博客
09-08 6382
一、软件测试基础 1. 什么是软测，有哪些测试类型 软件测试是为了发现错误而执行程序的过程。 测试分为功能测试和非功能测试： 非功能测试又可以分为性能测试、压力测试、容量测试、 健壮性测试、安全性测试、可靠性测试、恢复性测试、备份测试、协议测试、兼容性测试、可用 性测试、配置测试、GUI 测试。 2.如何写测试用例 测试用例是为了实施测试而向被测试的系统提供一组集合，这组集合包含：测试环境、操作步骤、测试数据、预期结果等要素 1、测试人员尽早介入，彻底理解清楚需求，这个是写好测试用例的基础 2、如果以前有类
zabbix报错排错大全3
08-14 6421
zabbix报错排错大全 zabbix报错 https://www.cnblogs.com/losbyday/category/876878.html作者总结的很全棒 1.在启动zabbix-agent时系统日志输出 PIDfile/run/zabbix/zabb...
查看并杀死defunct僵尸进程
shy_snow的专栏
07-06 1697
defunct进程如何直接kill掉;只要杀死它的父进程,defunct进程就自动消失了. 查看defunct进程 ps -e -o ppid,stat | grep Z | cut -d " " -f1 杀死 ps -e -o ppid,stat | grep Z | cut -d " " -f1| xargs kill -9
Oracle中process超出限制的解决
热门推荐
wang_san_shi的专栏
01-04 1万+
1、客户端不能连接数据库，alert报错部分内容如下 Sun Jan  4 08:01:08 2015 Process m001 died, see its trace file Sun Jan  4 08:01:08 2015 ksvcreate: Process(m001) creation failed Sun Jan  4 08:03:12 2015 Process J00
linux 僵尸(defunct)进程和孤儿进程
huangshanchun的专栏
02-04 5363
在fork或者exec函数创建一个新的进程，为了收集新进程的退出状态并防止出现僵尸进程（zombie process），父进程应该调用waitpid或者wait等待子进程退出。 在unix/linux 系统中，一个子进程结束了，但是它的父进程没有等待(调用wait / waitpid)它（前提是它的父进程没有退出，这里面操作系统认为它有父进程，操作系统不会清除该进程）， 那么它将变成一个僵尸
linux下僵尸进程(＜defunct＞进程)的产生与避免
moamao_jishuyuan的博客
10-27 2814
在UNIX 系统中，一个进程结束了，但是他的父进程没有等待(调用wait / waitpid)他，那么他将变成一个僵尸进程。当用ps命令观察进程的执行状态时，看到这些进程的状态栏为defunct。僵尸进程是一个早已死亡的进程，但在进程表（processs table）中仍占了一个位置（slot）。但是如果该进程的父进程已经先结束了，那么该进程就不会变成僵尸进程。
linux defunct 进程,Defunct进程（死进程）
weixin_36058685的博客
04-29 3639
Defunct进程(死进程)IBM网站有关Defunct进程(死进程)的问题确定内容提要:本文介绍了为什么会产生defunct进程，如何确定引起defunct进程的原因，以及当需要进一步确定问题时应提供何种信息给软件供应商。说明:1.Defunct进程的产生在AIX操作系统实施的进程结构中，每一个进程都有一个父进程。当一个进程结束时会通知它的父进程，从而该进程的父进程会收集该进程的状态信息。若父进...
处理[defunct]僵尸进程
calmuse的博客
08-05 1262
如何杀死僵尸进程 在调用嵌入式开发板里面摄像头的程序后，没有将其正常关闭，再次执行同一个程序后，系统报错，然后发现上一个程序仍然再运行，又无法杀死这个进程，后面一直显示[defunct] ，需要杀死其父进程，这样才能杀死它。 $ ps -lh 0 1000 2255 2250 20 0 30048 6004 wait_w Ss+ pts/4 0:00 bash 0 1...
[sh] <defunct>等僵尸进程，导致系统非常缓慢(ORA-00445)
老代——Oracle不仅是工作，更是兴趣
02-10 6311
今天午休时间，接到一个请求。系统非常缓慢，且从top看，进程多为僵尸进程 Oracle版本是11.2.3.x Linux5.6 x86-64 看到僵尸进程，第一首先怀疑 crontab 里面的问题 通过crontab -l ，crontab -u oracle -l 发现没有任何crontab 之后通过pstree -ap  查看到 这些僵尸进程是由psp0,cjq0
如何杀掉defunct进程
irlover的专栏
03-05 1万+
在Unix系统管理中，当用ps命令观察进程的执行状态时，经常看到某些进程的状态栏为defunct，这就是所谓的“僵尸”进程。“僵尸”进程是一个早已死亡的进程，但在进程表（processstable）中仍占了一个位置（slot）。由于进程表的容量是有限的，所以，defunct进程不仅占用系统的内存资源，影响系统的性能，而且如果其数目太多，还会导致系统瘫痪。 我们知道，每个Unix进程在进程表里都有
杀掉<defunct>进程
最新发布
07-25
要杀死僵尸进程（<defunct>），你可以尝试以下步骤： 1. 确定僵尸进程的PID（进程ID）。你可以使用命令 `ps aux | grep <defunct>` 来查找相关进程的PID。 2. 使用 `kill -9 PID` 命令，其中PID是你在上一步中找到...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值