oracle cpu idle值过低问题分析过程

某应用数据库cpu idle值间歇性降低，最低达到百分之二十多，存在安全隐患。将分析过程记录下来。
开始怀疑是应用问题，并发较高时导致数据库cpu占用较高。经过初步分析，没有发现有问题的服务，凌晨两点左右在系统几乎不使用的时候，对系统做了一次监控，发现问题依然存在。因此初步排除应用问题。
数据库是AIX系统，使用HA做热备。例行维护时，切换备机，发现原来有问题的物理机cpu问题不再出现，新切换的主机cpu依然存在问题。初步判断与oracle有关。但是，经过分析发现idle值降低时，主要是wait占用较高，oracle所在进程占用cpu较低。因此，初步怀疑是硬件问题。
将初步建议反馈给用户后，用户找硬件厂商做了一次分析，没有发现硬件故障，认为是内存过小导致的。但是，内存过小无法解释我们发现的现象。后来找数据库高手做了一次详细的分析，确认了我们的判断，认为是硬件问题。
客户再次找硬件厂商，更换了磁盘阵列电源后，问题解决。

下面是详细分析过程：
--------------------------
正常情况下topas结果：
Topas Monitor for host: DCSMUDB1 EVENTS/QUEUES FILE/TTY
Wed Dec 7 12:45:58 2011 Interval: 2 Cswitch 441 Readch 92377
Syscall 2392 Writech 138.4K
Kernel 1.0 |# | Reads 169 Rawin 0
User 3.9 |## | Writes 181 Ttyout 513
Wait 0.1 |# | Forks 0 Igets 0
Idle 95.1 |########################### | Execs 0 Namei 1
Runqueue 0.0 Dirblk 0
Network KBPS I-Pack O-Pack KB-In KB-Out Waitqueue 0.0
en1 113.3 1.0 172.4 0.1 113.2
en0 109.4 342.2 35.2 94.2 15.1 PAGING MEMORY
lo0 0.0 0.0 0.0 0.0 0.0 Faults 28 Real,MB 7744
Steals 0 % Comp 39.9
Disk Busy% KBPS TPS KB-Read KB-Writ PgspIn 0 % Noncomp 33.1
hdisk4 1.0 30.2 4.5 0.0 30.2 PgspOut 0 % Client 33.9
skpower1 1.0 30.2 4.5 0.0 30.2 PageIn 0
hdisk2 0.0 0.0 0.0 0.0 0.0 PageOut 7 PAGING SPACE
hdisk1 0.0 0.0 0.0 0.0 0.0 Sios 7 Size,MB 8192
hdisk0 0.0 0.0 0.0 0.0 0.0 % Used 0.6
hdisk6 0.0 0.0 0.0 0.0 0.0 NFS (calls/sec) % Free 99.3
hdisk3 0.0 0.0 0.0 0.0 0.0 ServerV2 0
hdisk5 0.0 0.0 0.0 0.0 0.0 ClientV2 0 Press:
hdisk7 0.0 0.0 0.0 0.0 0.0 ServerV3 0 "h" for help
cd0 0.0 0.0 0.0 0.0 0.0 ClientV3 0 "q" to quit
skpower0 0.0 0.0 0.0 0.0 0.0

Name PID CPU% PgSp Owner
oracle 962746 4.4 5.3 oracle
oracle 700532 1.1 4.1 oracle
oracle 1048730 0.8 5.0 oracle
oracle 987388 0.6 4.3 oracle
syncd 114808 0.2 0.5 root
oracle 1138932 0.2 5.0 oracle
topas 557118 0.1 1.9 root
dtgreet 82100 0.1 1.4 root
oracle 991408 0.1 4.7 oracle
oracle 692368 0.0 4.3 oracle
hatsd 450706 0.0 8.2 root
hats_rs2 495838 0.0 1.7 root
aioserve 499920 0.0 0.1 root
gil 65568 0.0 0.1 root
oracle 602200 0.0 4.4 oracle
oracle 966828 0.0 5.2 oracle
oracle 573578 0.0 5.6 oracle
xmgc 45078 0.0 0.0 root
hats_nim 102580 0.0 1.7 root
hats_nim 397398 0.0 1.7 root
oracle 618624 0.0 3.7 oracle
Exiting

问题时间段的topas结果：
Topas Monitor for host: DCSMUDB1 EVENTS/QUEUES FILE/TTY
Wed Dec 7 12:49:22 2011 Interval: 2 Cswitch 402 Readch 99.2K
Syscall 2623 Writech 180.5K
Kernel 0.7 |# | Reads 145 Rawin 0
User 6.0 |## | Writes 523 Ttyout 450
Wait 48.3 |############## | Forks 0 Igets 0
Idle 45.1 |############# | Execs 0 Namei 3
Runqueue 0.0 Dirblk 0
Network KBPS I-Pack O-Pack KB-In KB-Out Waitqueue 7.0
en0 254.0 375.5 176.5 94.0 160.0
en1 34.3 1.5 51.5 0.2 34.1 PAGING MEMORY
lo0 0.3 1.5 1.5 0.2 0.2 Faults 23 Real,MB 7744
Steals 0 % Comp 40.0
Disk Busy% KBPS TPS KB-Read KB-Writ PgspIn 0 % Noncomp 33.1
hdisk4 100.0 0.0 0.0 0.0 0.0 PgspOut 0 % Client 33.9
skpower1100.0 0.0 0.0 0.0 0.0 PageIn 0
hdisk2 0.0 0.0 0.0 0.0 0.0 PageOut 0 PAGING SPACE
hdisk1 0.0 0.0 0.0 0.0 0.0 Sios 0 Size,MB 8192
hdisk0 0.0 0.0 0.0 0.0 0.0 % Used 0.6
hdisk6 0.0 0.0 0.0 0.0 0.0 NFS (calls/sec) % Free 99.3
hdisk3 0.0 0.0 0.0 0.0 0.0 ServerV2 0
hdisk5 0.0 0.0 0.0 0.0 0.0 ClientV2 0 Press:
hdisk7 0.0 0.0 0.0 0.0 0.0 ServerV3 0 "h" for help
cd0 0.0 0.0 0.0 0.0 0.0 ClientV3 0 "q" to quit
skpower0 0.0 0.0 0.0 0.0 0.0

Name PID CPU% PgSp Owner
oracle 950318 2.4 4.9 oracle
oracle 700532 1.3 4.1 oracle
oracle 991408 0.6 4.8 oracle
oracle 979172 0.4 5.1 oracle
oracle 913588 0.4 4.8 oracle
oracle 1081464 0.3 4.1 oracle
oracle 901368 0.3 4.1 oracle
dtgreet 82100 0.1 1.4 root
topas 1032390 0.1 3.1 root
clstrmgr 458958 0.1 2.4 root
oracle 1048730 0.0 5.1 oracle
hatsd 450706 0.0 8.2 root
gil 65568 0.0 0.1 root
hats_rs2 495838 0.0 1.7 root
hats_nim 102580 0.0 1.7 root
hats_nim 397398 0.0 1.7 root
oracle 737476 0.0 6.2 oracle
oracle 741396 0.0 8.4 oracle
snmpdv3n 475178 0.0 1.0 root
clcomd 344262 0.0 2.1 root
X 295058 0.0 2.5 root
Exiting

应用反复以几十秒的时间段为间隔反复在好与坏之间切换。

执行如下命令：
lsattr -El sys0 -a iostat
输出结果第二列显示为false，这是默认值。

用如下命令将其在线修改为true,以修正os命令显示不准的问题，方便下一步判断
chdev -l sys0 -a iostat=true

执行如下三个命令：
sar -d 1 120
vmstat -I 1 120
iostat 1 120

如下是所有的执行结果：
DCSMUDB1:/tmp#sar -d 1 120

AIX DCSMUDB1 3 5 00C7BB7F4C00 12/07/11

System configuration: lcpu=4 drives=11

15:01:22 device %busy avque r+w/s Kbs/s avwait avserv

15:01:23 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 0 0.0 0 7 0.0 0.6
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 0 0.0 0 7 0.0 0.0


15:01:24 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 22 0.0 5 16 0.0 0.3
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 22 0.0 2 16 0.0 0.0


15:01:25 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 100 0.0 3 0 0.0 0.0
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 100 0.0 0 0 0.0 0.0


15:01:26 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 100 0.0 1 0 0.0 0.0
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 100 0.0 0 0 0.0 0.0


15:01:27 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 100 0.0 0 0 0.0 0.0
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 100 0.0 0 0 0.0 0.0


15:01:28 hdisk0 7 0.0 17 68 0.0 5.0
hdisk1 7 0.0 17 68 0.0 5.6
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 100 0.0 0 0 0.0 0.0
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 100 0.0 0 0 0.0 0.0


15:01:29 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 100 0.0 0 0 0.0 0.0
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 100 0.0 0 0 0.0 0.0


15:01:30 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 100 0.0 0 0 0.0 0.0
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 100 0.0 0 0 0.0 0.0


15:01:31 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 100 0.0 7 72 0.0 3052.8
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 100 0.0 9 72 0.0 0.0


15:01:32 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 16 0.0 6 140 0.0 4564.4
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 16 0.0 11 140 0.0 0.0


15:01:33 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 4 0.0 3 68 0.0 9.5
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 4 0.0 3 68 0.0 0.0


15:01:34 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 2 0.0 4 24 0.0 1.7
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 2 0.0 4 24 0.0 0.0


15:01:35 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 0 0.0 3 31 0.0 0.7
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 0 0.0 3 31 0.0 0.0


15:01:36 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 0 0.0 2 16 0.0 0.7
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 0 0.0 2 16 0.0 0.0


15:01:37 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 3 0.0 4 15 0.0 0.4
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 3 0.0 2 15 0.0 0.0


15:01:38 hdisk0 0 0.0 1 3 0.0 4.7
hdisk1 0 0.0 1 3 0.0 5.1
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 98 0.0 2 0 0.0 0.0
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 98 0.0 0 0 0.0 0.0


15:01:39 hdisk0 16 0.0 39 160 0.0 5.3
hdisk1 24 0.0 39 160 0.0 6.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 100 0.0 1 0 0.0 0.0
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 100 0.0 0 0 0.0 0.0


15:01:40 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 100 0.0 0 0 0.0 0.0
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 100 0.0 0 0 0.0 0.0


15:01:41 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 100 0.0 0 0 0.0 0.0
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 100 0.0 0 0 0.0 0.0


15:01:42 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 100 0.0 0 0 0.0 0.0
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 100 0.0 0 0 0.0 0.0


15:01:43 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 100 0.0 0 0 0.0 0.0
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 100 0.0 0 0 0.0 0.0


15:01:44 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 100 0.0 1 16 0.0 12645.0
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 100 0.0 3 16 0.0 0.0


15:01:45 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 23 0.0 13 163 0.0 2029.8
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 23 0.0 17 163 0.0 0.0


15:01:46 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 1 0.0 2 8 0.0 6.1
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 1 0.0 2 8 0.0 0.0


15:01:47 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 0 0.0 0 0 0.0 0.0
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 0 0.0 0 0 0.0 0.0


15:01:48 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 3 0.0 8 56 0.0 2.7
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 3 0.0 8 56 0.0 0.0


15:01:49 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 1 0.0 2 12 0.0 2.9
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 1 0.0 2 12 0.0 0.0


15:01:50 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 0 0.0 0 0 0.0 0.0
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 0 0.0 0 0 0.0 0.0


15:01:51 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 0 0.0 5 36 0.0 0.8
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 0 0.0 5 36 0.0 0.0


15:01:52 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 0 0.0 1 11 0.0 0.6
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 0 0.0 1 11 0.0 0.0


15:01:53 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 0 0.0 20 160 0.0 0.6
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 1 0.0 20 160 0.0 0.0


15:01:54 hdisk0 5 0.0 8 32 0.0 6.2
hdisk1 5 0.0 8 32 0.0 5.8
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 0 0.0 10 52 0.0 0.6
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 0 0.0 10 52 0.0 0.0


15:01:55 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 0 0.0 4 24 0.0 0.5
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 0 0.0 4 24 0.0 0.0


15:01:56 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 0 0.0 9 76 0.0 0.6
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 0 0.0 9 76 0.0 0.0


15:01:57 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 0 0.0 6 48 0.0 0.7
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 0 0.0 6 48 0.0 0.0


15:01:58 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 0 0.0 1 4 0.0 0.6
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 0 0.0 1 4 0.0 0.0


15:01:59 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 0 0.0 16 123 0.0 0.5
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 0 0.0 16 123 0.0 0.0


15:02:00 hdisk0 7 0.0 11 44 0.0 5.1
hdisk1 6 0.0 11 44 0.0 4.5
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 1 0.0 4 32 0.0 0.7
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 1 0.0 4 32 0.0 0.0


15:02:01 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 0 0.0 2 32 0.0 0.8
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 0 0.0 2 32 0.0 0.0


15:02:02 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 0 0.0 12 88 0.0 0.6
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 0 0.0 12 88 0.0 0.0


15:02:03 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 0 0.0 5 72 0.0 0.8
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 0 0.0 5 72 0.0 0.0


15:02:04 hdisk0 2 0.0 3 8 0.0 6.7
hdisk1 1 0.0 3 12 0.0 5.1
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 45 0.0 1 0 0.0 0.0
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 45 0.0 0 0 0.0 0.0


15:02:05 hdisk0 39 0.0 74 300 0.0 5.6
hdisk1 46 0.0 74 296 0.0 5.7
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 100 0.0 1 0 0.0 0.0
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 100 0.0 0 0 0.0 0.0


15:02:06 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 100 0.0 1 0 0.0 0.0
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 100 0.0 0 0 0.0 0.0


15:02:07 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 99 0.0 0 0 0.0 0.0
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 99 0.0 0 0 0.0 0.0


15:02:08 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 100 0.0 3 0 0.0 0.0
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 100 0.0 0 0 0.0 0.0


15:02:09 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 100 0.0 0 0 0.0 0.0
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 100 0.0 0 0 0.0 0.0


15:02:10 hdisk0 7 0.0 10 40 0.0 6.1
hdisk1 4 0.0 10 40 0.0 4.2
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 100 0.0 0 0 0.0 0.0
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 100 0.0 0 0 0.0 0.0


15:02:11 hdisk0 10 0.0 15 60 0.0 6.0
hdisk1 10 0.0 15 60 0.0 5.3
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 63 0.0 34 380 0.0 930.7
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 63 0.0 41 380 0.0 0.0


15:02:12 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 0 0.0 0 0 0.0 0.0
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 0 0.0 0 0 0.0 0.0


15:02:13 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 0 0.0 0 7 0.0 6.2
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 0 0.0 0 7 0.0 0.0


15:02:14 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 0 0.0 3 31 0.0 0.8
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 0 0.0 3 31 0.0 0.0


15:02:15 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 0 0.0 4 56 0.0 0.7
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 0 0.0 4 56 0.0 0.0


15:02:16 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 0 0.0 4 16 0.0 0.5
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 0 0.0 4 16 0.0 0.0


15:02:17 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 0 0.0 7 104 0.0 0.7
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 0 0.0 7 104 0.0 0.0


15:02:18 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 0 0.0 1 12 0.0 0.9
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 0 0.0 1 12 0.0 0.0


15:02:19 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 0 0.0 6 32 0.0 0.6
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 0 0.0 6 32 0.0 0.0


15:02:20 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 0 0.0 11 112 0.0 0.6
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 0 0.0 11 112 0.0 0.0


15:02:21 hdisk0 27 0.0 47 190 0.0 6.0
hdisk1 30 0.0 47 190 0.0 5.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 0 0.0 1 11 0.0 0.6
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 0 0.0 1 11 0.0 0.0


15:02:22 hdisk0 22 0.0 44 176 0.0 5.4
hdisk1 28 0.0 44 176 0.0 5.5
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 0 0.0 9 44 0.0 0.5
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 0 0.0 9 44 0.0 0.0


15:02:23 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 2 0.0 16 108 0.0 0.6
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdisk7 0 0.0 0 0 0.0 0.0
cd0 0 0.0 0 0 0.0 0.0
hdiskpower0 0 0.0 0 0 0.0 0.0
hdiskpower1 2 0.0 16 108 0.0 0.0


15:02:24 hdisk0 0 0.0 0 0 0.0 0.0
hdisk1 0 0.0 0 0 0.0 0.0
hdisk3 0 0.0 0 0 0.0 0.0
hdisk2 0 0.0 0 0 0.0 0.0
hdisk4 0 0.0 0 0 0.0 0.0
hdisk6 0 0.0 0 0 0.0 0.0
hdisk5 0 0.0 0 0 0.0 0.0
hdis