重建ocr和vote的方法（客户aix掉电后故障）

7月1日下午，接到一个码头客户的故障抢修请求。因为路程原因没办法人员到场。采用qq远程故障处理。

客户现场环境有4台aix6.1 连接 1台ibm存储。上面run 了1套9i，一套11g。当天下午机房故障断电。其中11g那套aix不能正常恢复上线。

根据了解，11gaix6.1部署rac集群，但是有一台aix因为系统层面问题，已经故障。

介入后，发现。数据库启动发现找不到asm存储，之前部署工程师采用的是裸设备构建asm。

ocr与vote只有存放在一个磁盘组单一磁盘内。检查发现ocr故障了（虽然系统会自动产生ocr备份，但是建议在生产系统，vote盘组asm选normal级别以上）

着手做ocr和vote的重建。思考2种方案

1、直接进行恢复

1）停止所有节点clusterware
# crsctl stop crs
# crsctl stop crs -f
2）以root用户在其中一个节点独占模式启动clusterware
# crsctl start crs -excl -nocrs
备注：如果发现crsd在运行，那么通过如下命令将之停止。
# crsctl stop resource ora.crsd -init
3）常看ocr系统备份位置，orcconfig -showbackup（不要手工备份，要以为系统备份进行还原）
4）还原ocr，并检查
# ocrconfig -restore file_name
# ocrcheck
5）恢复表决磁盘，并检查
# crsctl replace votedisk +asm_disk_group
# crsctl query css votedisk
6）停止独占模式运行的clusterware
# crsctl stop crs -f
7）所有节点正常启动clusterware
# crsctl start crs
8）CVU验证所有RAC节点OCR的完整性
$ cluvfy comp ocr -n all -verbose

2、重装11g clusterware、重新对服务进行注册

最后采用第一方案解决了集群故障！但是屋漏偏锋连夜雨！数据盘逻辑故障。

客户无备份。进行磁盘恢复，case历时30+小时，业务重新上线。（备份很重要！！）