Oracle数据库 ORA-00127 错误分析和解决

好的，我们来详细解析 ORA-00127 错误。我将按照您的要求，先进行官方正式的说明，再用通俗易懂的语言进行解释。

---

官方正式说明

错误信息结构组成说明

Oracle数据库的错误信息通常由以下几部分组成：

1. ORA-00127: 这是唯一的错误代码，用于精准识别问题类型。
2. 错误消息文本: adviser process <number> did not start。这段文本描述了问题的核心：一个名为“adviser”的进程未能启动。
3. 原因 (Cause): 官方文档中会详细解释导致此错误的技术背景。
4. 行动 (Action): 官方文档会提供解决此错误需要执行的具体步骤。

详细解释

• 错误代码: ORA-00127
• 错误信息: adviser process <number> did not start
• 中文翻译: 顾问进程 <编号> 未能启动。

原因 (Cause)

在Oracle Real Application Clusters (RAC) 环境中，当某个实例尝试启动时，它会启动一系列后台进程。其中之一是 LMON（Global Enqueue Service Monitor）进程，它是全局队列服务（GES）的核心组件。

LMON 进程在启动过程中，会尝试派生（fork）一个或多个临时的、被称为 “adviser” 的子进程。这些子进程的作用是执行特定的诊断或恢复任务，例如在实例异常终止后，协助进行全局资源的清理和恢复（与 _enable_reliable_block_recovery 这个隐藏参数控制的特性相关）。

ORA-00127 错误表明，LMON 进程无法成功创建这个必需的 adviser 子进程。这通常是由于操作系统级别的资源不足或限制导致的，具体包括：

1. 操作系统进程数上限 (Process Limit): 操作系统用户（通常是 oracle 用户）已达到其允许创建的最大进程数。
2. 操作系统内存不足 (Memory): 系统没有足够的可用内存来创建新进程。
3. 内核参数设置不当: 操作系统的内核参数（如 semmni, semmns, shmall, shmmax）设置不足以支持Oracle RAC的需求。
4. 权限问题: 极少数情况下，oracle 用户可能缺乏创建新进程的权限。

发生场景

1. RAC数据库实例启动时: 这是最典型的场景，尤其是在一个之前异常终止的实例尝试重新加入集群时。
2. 实例恢复期间: 在集群进行故障转移和恢复时，需要启动adviser进程来处理复杂的恢复逻辑。
3. 系统高负载时: 当服务器本身已经处于高负载状态，进程数和内存使用量都接近上限时，尝试启动实例可能触发此错误。

相关原理

• LMON 进程: 负责管理全局队列服务（GES）的组管理和恢复。它是RAC实例能否成功加入集群的关键。
• Adviser 进程: 是 LMON 的辅助工作者，执行特定的、计算可能密集型的恢复建议任务。其创建失败会阻止 LMON 完成其启动和恢复流程，从而导致整个实例启动失败。
• 资源管理: 操作系统对每个用户可创建的进程数量有硬性限制（可通过 ulimit -u 查看）。Oracle实例本身已经运行了数十个后台进程，在资源紧张时，再创建新的临时进程就可能失败。

相关联的其他ORA-错误

• ORA-27154: post/wait create failed - 也是一个与创建进程/线程失败相关的底层操作系统错误。
• ORA-27300: OS system dependent operation: fork failed - 操作系统fork系统调用失败，这是ORA-00127的直接底层原因。
• ORA-27301: OS failure message: Resource temporarily unavailable - 通常指资源不足（如内存、进程槽）。
• ORA-29702: error occurred in Cluster Group Service operation - 更广泛的集群服务错误，可能由底层资源问题引起。

定位原因、分析过程

1. 定位: 错误发生在RAC数据库实例启动阶段，通常在告警日志中紧随 LMON 进程的启动消息之后。
2. 分析过程:
   a. 首要检查 - 告警日志: 检查抛出错误的实例的告警日志（alert_<SID>.log）。这是最重要的信息来源。错误栈会清晰显示 LMON 进程报告 adviser 启动失败。
   b. 检查操作系统资源限制: 登录到出问题的服务器，切换到 oracle 用户，检查其进程限制。
   bash ulimit -a # 查看所有限制 ulimit -u # 专门查看最大用户进程数
   c. 检查系统整体资源状况: 使用操作系统命令检查内存和当前进程数。
   bash top # 查看整体内存和CPU使用情况 free -g # 查看内存使用情况 ps -ef | wc -l # 查看当前系统总进程数 ps -u oracle | wc -l # 查看oracle用户的进程数
   d. 检查内核参数: 确认 /etc/sysctl.conf 中的内核参数（特别是信号量和共享内存参数）满足Oracle RAC的安装要求。

解决方案

解决方案的核心是释放操作系统资源或增加资源限制。

1. 释放现有资源 (临时解决):

   • 识别并终止一些非关键的、属于 oracle 用户的进程（如冗余的会话、闲置的测试进程）。
   • 如果服务器上运行着非关键的应用程序，考虑暂时停止它们以释放内存和进程槽。
   • 重启服务器。这是最彻底释放资源的方法。

2. 增加资源限制 (永久解决):

   • 增加用户进程数限制: 编辑 /etc/security/limits.conf 文件，为 oracle 用户增加 nproc（number of processes）限制。

     oracle soft nproc 16384
     oracle hard nproc 16384
     

     （注意：值 16384 是一个示例，请根据实际需要设置。修改后，oracle用户需要重新登录才能生效。）
   • 调整内核参数: 确保内核参数满足Oracle RAC的预要求。例如，kernel.sem, kernel.shmall, kernel.shmmax 等。修改后需运行 sysctl -p 使其生效。
   • 增加物理内存: 如果系统长期内存不足，需要考虑升级硬件。

3. 作为应急措施 (不推荐):

   • 在某些极端情况下，如果问题与特定的恢复功能相关，可以考虑禁用该功能。这需要设置隐藏参数 _enable_reliable_block_recovery=FALSE。
   • 警告: 修改隐藏参数有风险，应由Oracle支持人员指导进行，因为它可能影响系统的恢复能力。

相关SQL语句和命令

此错误通常发生在实例启动之前，因此SQL用处不大。主要使用操作系统命令。

# 关键的诊断命令
ulimit -u
ps -u oracle | wc -l
top
free -m

# 检查集群状态（在另一个正常节点上）
crsctl status resource -t

---

通俗易懂的语言讲解

ORA-00127 是什么？

想象一下，Oracle RAC实例启动就像开一家大型餐厅。ORA-00127错误就像是：餐厅经理（LMON进程）想召集一个专门的“危机处理小组”（Adviser进程）来处理开张前的紧急事务，却发现店里人手已经爆满，再也雇不到新员工了。 系统报错：“顾问进程启动失败！”

详细解释

• LMON 进程: 就像是餐厅的总经理。它的重要职责之一就是在开业前（实例启动），检查后厨（集群）有没有之前留下的烂摊子（未清理的锁），并组建小组来处理。
• Adviser 进程: 就是这个总经理想临时组建的**“特种后勤小组”**。这个小组的任务是快速评估烂摊子的情况并提出解决方案。
• ORA-00127: 总经理发现，虽然店里（服务器上）已经有很多员工（进程）了，但根据公司规定（操作系统限制），他雇佣的员工总数已经达到了上限，无法再为这个“特种小组”招聘新人了。于是总经理只好报告：“老板，小组建不起来，这店没法开！”

为什么会发生？（常见原因）

1. 公司规定太死板（操作系统限制）： 操作系统给Oracle这个“用户”规定了，你最多只能同时有2048个“员工”（进程）。而Oracle数据库本身已经很庞大了，启动后用了很多员工，导致没法再为这个临时的“小组”分配名额。
2. 店里人满为患（系统过载）： 服务器本身已经非常繁忙，运行着很多其他程序，内存和“员工名额”都快用光了。这时候再想让Oracle餐厅开张，自然就招不到人了。
3. 招聘名额不够用（内核参数太小）： 整个操作系统允许的“总员工数”或“工作台大小”（信号量、共享内存）设置得太小，无法满足RAC这种“大型连锁集团”的需求。

怎么解决？

核心思路：给Oracle“公司”更多的“招聘名额”。

具体做法：

1. 先清理一下现有的员工（释放资源）：

   • 看看服务器上是不是跑了很多没用的程序？先把它们关掉。
   • 看看数据库里是不是有很多闲置的会话？可以断开它们。
   • 最狠的一招：重启服务器。就像让所有公司放假一天，第二天重新开门，所有名额都重置了。

2. 修改公司规定，增加招聘上限（修改限制）：

   • 这是根本解决办法。找到操作系统的配置文件（/etc/security/limits.conf），找到给 oracle 用户规定的“最大员工数”（nproc），把这个数字改大，比如从2048改成16384。
   • 确保操作系统的“总工作空间”（内核参数）也设置得足够大，能满足Oracle RAC的要求。

3. 非常规手段（不推荐）：

   • 告诉总经理：“这次就别组建那个特种小组了，我们自己硬着头皮上吧！” 这相当于设置一个隐藏参数来禁用这个功能。
   • 风险：万一以后真出了“烂摊子”，没有特种小组来处理，可能会更麻烦。所以这个方法最好只在Oracle支持人员的指导下使用。

总结一下：ORA-00127是一个操作系统资源不足的错误。它告诉我们，Oracle RAC这个“大公司”在启动时，因为操作系统给它的“人力和场地”限制太紧，导致一个关键的后勤团队无法组建。解决它就像给一个发展迅猛的公司扩招，需要提高它的资源上限。

欢迎关注我的公众号《IT小Chen》