<think>
我们正在诊断O
racle
RAC节点被意外驱逐的问题。根据引用[1][
2][3][4]，节点驱逐通常与以下原因相关：
1.
心跳机制（网络
心跳和磁盘
心跳）失败
2. 集群资源管理问题（如OCSSD进程）
3. 参数配置不当（如_lm_tickets参数）
4. 表决盘（Voting
Disk）问题
下面将详细说明诊断步骤：
### 1. 检查集群日志
首先查看集群告警日志和OCSSD日志，定位驱逐事件和时间点：
```bash
# 查看集群告警日志（每个节点）
tail -f $GRID_HOME/log/{hostname}/alert{hostname}.log
# 查看OCSSD日志（重点关注驱逐事件）
grep -i "eviction" $GRID_HOME/log/{hostname}/cssd/ocssd.log
```
**关键日志模式**：
- `Eviction initiated for node X`：节点X被驱逐
- `Lost
2 disk heartbeats`：连续丢失磁盘
心跳
- `Network communication with node X lost`：网络
心跳丢失[^4]
###
2. 验证
心跳机制
#### 网络
心跳检查
使用`ping`和`cluvfy`验证私有网络：
```bash
# 节点间网络连通性
cluvfy comp nodecon -n all -verbose
# 手动测试互连网络（替换为实际私有IP）
ping -c 5 <private_ip_of_other_node>
```
#### 磁盘
心跳检查
验证表决盘可访问性：
```sql
-- 查询表决盘状态（在ASM实例中运行）
SELECT * FROM V$ASM_
DISKGROUP WHERE NAME LIKE '%VD%';
-- 使用crsctl检查投票盘
crsctl query css
votedisk
```
**异常情况**：
- 表决盘I/O延迟超过`misscount`（默认30秒）会导致驱逐[^3]
- 若使用NFS存储表决盘，需确认NFS锁配置
### 3. 检查关键参数
根据引用[
2]，调整以下参数可能解决驱逐问题：
```sql
-- 检查_lm_tickets值（需在实例级设置）
SHOW PARAMETER _lm_tickets;
-- 若SGA>
100GB，建议设置为5000（默认
1000）
ALTER SYSTEM SET "_lm_tickets"=5000 SCOPE=SPFILE;
```
**注意**：
- 修改后需重启实例（支持滚动重启）
- 避免随意修改`misscount`（除非使用第三方集群软件）[^3]
### 4. 分析资源状态
查看集群资源状态，确认驱逐前是否有资源争用：
```bash
# 检查资源状态历史
crsctl stat res -t -f | grep -E "STATE|TARGET"
# 检查节点最后在线时间
crsctl stat node -t
```
### 5. 操作系统级检查
- **内存/交换空间**：`free -g`检查是否因内存不足触发OOM Killer
- **进程状态**：`ps -ef | grep ocssd.bin`确认OCSSD进程存活
- **系统消息**：`dmesg -T | grep -i kill`检查内核是否强制终止进程
### 6. 使用Diagcollection收集诊断包
O
racle支持工具自动收集日志：
```bash
# 在Grid用户下执行
diagcollection.pl --collect --crshome $GRID_HOME
```
### 诊断流程图
```mermaid
graph TD
A[节点意外驱逐] --> B{检查集群日志}
B -->|找到驱逐事件| C[分析
心跳丢失原因]
B -->|无明确日志| D[检查参数配置]
C --> E[网络
心跳问题？]
C --> F[磁盘
心跳问题？]
E -->|是| G[修复私有网络]
F -->|是| H[修复表决盘访问]
D --> I[调整_lm_tickets]
G --> J[验证集群状态]
H --> J
I --> J
J --> K[监控稳定性]
```
§§相关问题§§
1. O
racle
RAC中如何配置冗余私有网络以提高可用性?
2. 表决盘(Voting
Disk)的最佳实践配置是什么?
3. 如何调整O
racle
RAC的misscount参数以避免误驱逐?
4. OCSSD进程崩溃的常见原因有哪些?
[^1]: O
racle
RAC节点驱逐机制
[^
2]: 大内存配置下的驱逐解决方案
[^3]: 表决盘与
心跳机制
[^4]: 节点监控原理
</think>
### 诊断O
racle
RAC节点意外驱逐问题的方法
#### 1. **检查集群日志（关键证据）**
```bash
# 查看OCSSD日志（核心驱逐组件）
grep -i "evict" $GRID_HOME/log/<hostname>/cssd/ocssd.log
# 查看集群告警日志
tail -f $GRID_HOME/log/<hostname>/alert<hostname>.log
```
**关键日志模式**：
- `Eviction initiated for node <nodename>`：明确驱逐记录
- `Lost
2 disk heartbeats`：磁盘
心跳丢失
- `Network communication with node <nodename> lost`：网络
心跳中断[^4]
- `terminating the instance due to error 481`：IPC超时导致驱逐[^
2]
####
2. **验证
心跳机制**
**网络
心跳检查**：
```bash
# 节点间网络连通性
cluvfy comp nodecon -n all -verbose
# 检查私网绑定状态
oifcfg getif
```
**磁盘
心跳检查**：
```sql
-- 查看表决盘状态（ASM实例）
SELECT * FROM V$ASM_
DISKGROUP WHERE NAME LIKE '%VD%';
-- 使用crsctl检查
crsctl query css
votedisk
```
> 💡 磁盘
心跳丢失通常伴随`CSSD`日志中的`No I/O to voting
disk`警告[^3]
#### 3. **检查关键参数配置**
```sql
-- 检查驱逐相关参数
SELECT name, value
FROM V$PARAMETER
WHERE name IN ('_lm_tickets','misscount','reboot_time'
);
```
**参数调整建议**：
- 对于SGA>
100GB的系统，将`_lm_tickets`从
1000调整到5000[^
2]
```sql
ALTER SYSTEM SET "_lm_tickets"=5000 SCOPE=SPFILE;
```
- 避免修改`misscount`默认值（通常为30秒）[^3]
#### 4. **资源冲突分析**
```bash
# 检查资源状态历史
crsctl stat res -t -f | grep -E "STATE|TARGET"
# 检查节点最后在线时间
crsctl stat node -t
```
**常见冲突场景**：
- 共享存储访问超时（特别是使用NFS时）
- IP地址冲突导致VIP漂移
- OCR/Voting
Disk I/O延迟超过
200ms
#### 5. **系统级检查**
```bash
# 内存/交换空间检查
free -g
# 进程状态验证
ps -ef | grep -e ocssd\.bin -e crsd\.bin
# 系统消息检查
dmesg | grep -i kill
```
**重点关注**：
- OOM Killer是否终止集群进程
- 是否存在内存泄漏导致`ocssd.bin`崩溃
- 内核参数`vm.min_free_kbytes`是否过小
#### 6. **诊断工具包收集**
```bash
# 使用Diagcollection收集完整日志
$GRID_HOME/bin/diagcollection.pl --collect --crshome $GRID_HOME
```
### 诊断流程图
```mermaid
graph TD
A[节点意外驱逐] --> B{检查集群日志}
B -->|找到驱逐事件| C[分析
心跳丢失原因]
B -->|无明确日志| D[检查参数配置]
C --> E[网络
心跳问题？]
C --> F[磁盘
心跳问题？]
E -->|是| G[修复私有网络]
F -->|是| H[修复表决盘访问]
D --> I[调整_lm_tickets]
G --> J[验证集群状态]
H --> J
I --> J
J --> K[监控稳定性]
```
> ⚠️ **紧急处理**：若节点频繁驱逐，可临时禁用驱逐机制（仅限诊断）：
> ```bash
> crsctl set css diagwait -1 # 生产环境慎用！
> ```
本文深入探讨了 Oracle 10g RAC 环境下，votedisk 如何用于判断 disk 心跳，解析了集群中节点间通信的关键机制。
扫一扫
5032
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
