aix5.3+weblogic814问题解决
1、背景
用户的业务系统,用的是c/s/s架构,中间件是weblogic814,数据库是oracle9.2.0.7双节点的rac。由于系统设计问题
,07年08年的系统放在一台机器上,运行了一个月没什么大问题。
2、问题描述
今天下午四点的时候用户的技术人员来找我说系统很慢,我们的支持人员也发现在维护数据的时候,进不去系统,
我进数据库服务器查看topas数据正常,cpu和内存都不存在问题。
然后就进入应用服务器,topas居然进不去,然后找用户的系统管理员过来之后,用weblogic的用户查看iostat,
发现cpu和内存的压力都挺大,我同时查看了一下vmstat 5,发现b参数一直维持在8左右,文档上说该参数大于3证明cpu
有问题,然后pi和po都是四百左右,证明内存也存在问题。系统管理员用就用iostat查看,但是iostat不能看出哪个进
程占用的内存,不过估计是weblogic的哪个服务占用的,后来su到root之后,发现topas可用,查到占用内存很严重的进
程号之后,发现是07年的环境出了问题,该进程也宕掉了,杀掉进程之后,topas恢复正常,07年的应用服务重启之后,
没有异常。由于生产环境恢复很紧急,很多参数没有记录,只是记录了一个过程。
但是在重启08年的环境的时候,一直报错,在查看nohup文件之后,发现config.xml文件无法读取,查看之后发现
在这个过程中08年环境的config.xml文件居然被置空了。ft,折腾半天之后发现在25日的时候有一个备份,cp过去之后
重启就可以了。
3、总结
a、问题的原因是07年环境和08年环境的同时大量使用导致应用服务器cpu、内存不堪重负,07年环境出现大量的日志写
入,日志写入满了之后,系统没有硬盘空间了,两个服务都宕掉了。
b、两套应用环境最好不要放在一个应用服务器上,容易造成内存和cpu的争用。
c、weblogic的启动配置文件也需要定期备份。
1、背景
用户的业务系统,用的是c/s/s架构,中间件是weblogic814,数据库是oracle9.2.0.7双节点的rac。由于系统设计问题
,07年08年的系统放在一台机器上,运行了一个月没什么大问题。
2、问题描述
今天下午四点的时候用户的技术人员来找我说系统很慢,我们的支持人员也发现在维护数据的时候,进不去系统,
我进数据库服务器查看topas数据正常,cpu和内存都不存在问题。
然后就进入应用服务器,topas居然进不去,然后找用户的系统管理员过来之后,用weblogic的用户查看iostat,
发现cpu和内存的压力都挺大,我同时查看了一下vmstat 5,发现b参数一直维持在8左右,文档上说该参数大于3证明cpu
有问题,然后pi和po都是四百左右,证明内存也存在问题。系统管理员用就用iostat查看,但是iostat不能看出哪个进
程占用的内存,不过估计是weblogic的哪个服务占用的,后来su到root之后,发现topas可用,查到占用内存很严重的进
程号之后,发现是07年的环境出了问题,该进程也宕掉了,杀掉进程之后,topas恢复正常,07年的应用服务重启之后,
没有异常。由于生产环境恢复很紧急,很多参数没有记录,只是记录了一个过程。
但是在重启08年的环境的时候,一直报错,在查看nohup文件之后,发现config.xml文件无法读取,查看之后发现
在这个过程中08年环境的config.xml文件居然被置空了。ft,折腾半天之后发现在25日的时候有一个备份,cp过去之后
重启就可以了。
3、总结
a、问题的原因是07年环境和08年环境的同时大量使用导致应用服务器cpu、内存不堪重负,07年环境出现大量的日志写
入,日志写入满了之后,系统没有硬盘空间了,两个服务都宕掉了。
b、两套应用环境最好不要放在一个应用服务器上,容易造成内存和cpu的争用。
c、weblogic的启动配置文件也需要定期备份。
来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/79499/viewspace-163524/,如需转载,请注明出处,否则将追究法律责任。
转载于:http://blog.itpub.net/79499/viewspace-163524/