postgres数据库大批量单表导入数据引发性能故障  

       因公司经营管理策略原因,我们地区部门还是以开发外包和产品服务为主,对测试外包服务销售工作要求占比不高,而测试部门本来有四五个性能测试人员,加上老员工都比较积极做事在测试团队建设管理上不用花费太多精力。估计因为我对数据库、tomcat、linux性能这块了解比较深以前相关的测试环境都是我搭建部署,一直都很稳定,所以公司让我帮忙兼职做公司产品技术运维支持工作,因此我大部分时间都是在做软件产品基础设施搭建研MYSQL\PG\TOMCAT\Centos等优化配置和数据安全备份方法,作为初学者很多未知领域需要探索学习研究。

       这段时间的运维感触是,做为一名技术运维人员需要一个拥有“耐心、静心、探索心、敬业心”,不然心情一爽rm -rf ,后果不敢设想,或者部署配置时日志格式、清理机制、数据存放路径、备份方式没弄好也会导致系统不稳定等问题。

       当然有时客户自己也有专职运维人员,但是往往有些技术运维人员,对数据安全等敏感性没那么高,会误操作导致双方一下子手忙脚乱,例如系统缓慢就restart tomcat 或者kill pid 来应急,但是最终的效果是数据不一致或者丢失等现象。例如下面这个问题就是因为客户一下子插入700W笔数据,但是事先没跟我方项目人员沟通导致系统无法正常运行问题。

下午临近下班时,客户突然打电话给我方项目经理说,系统运行很慢,PG数据库服务器卡死,输入top 都要等五六分钟才能响应,但是CPU使用率不高,如下图: