第2章 Oracle宕库问题汇总-2.9 扩容ASM引发的宕机

环境说明：

DB:Oracle 11204 RAC + DG(RAC)
OS:AIX 7.1

问题现象：

某月周五晚上，马上下班了，突然手机连续收到多条告警短信，提示有一套数据库的DG备库无法连接。

问题分析：

连接备库，发现实例已经自动停止，检查数据库告警日志和ASM告警日志，发现+DATA磁盘组自动离线，ASM无法识别+DATA磁盘组下多个磁盘。
初步怀疑磁盘故障，但是存储工程师检查磁盘没有任何问题。
使用DBV工具对多个数据文件进行检查，发现存在几千个坏块。

问题原因：

此时想到昨天晚上的一次变更，扩容+DATA磁盘组，本来预计添加30块100G大小的新盘，扩容3000G空间，但是由于粗心大意，错误的多添加了5块旧盘，一共添加了35块盘。

添加完成后检查磁盘容量发现多了5块盘，数据已经在动态平衡了，第一时间想到这5块旧盘有没有问题，查看ASM日志，DB日志没有发现错误，第二天早上检查数据已经动态平衡结束了，DB日志没发现问题。

因为这5块旧盘可以顺利添加到磁盘组里,一直错误的认为新添加的这5块旧盘是空盘，没有被使用。

联想到此刻出现的问题，突然意识到这5块旧盘之前是否有其他用途，仔细检查了操作系统磁盘和目录情况，最终发现这5块旧盘居然是本地归档盘。

虽然数据库是11204版本RAC，但是不清楚什么原因，归档没有采用ASM存储，而是用本地文件系统存储。

至此可以确认问题原因了，在扩容ASM