ChaosBlade 在工商银行混沌工程体系中的应用实践

简介：互联网金融时代下，金融产品和服务模式不断创新，交易量大幅攀升。面对互联网金融的全新发展态势，传统的单体 IT 架构暴露出很多不适应的地方，为此业界广泛应用云计算、分布式等新技术，构建分布式架构和运维体系，以支撑金融业务的快速发展。

作者 | 吴冕冠
来源|阿里巴巴云原生公众号

互联网金融时代下，金融产品和服务模式不断创新，交易量大幅攀升。面对互联网金融的全新发展态势，传统的单体 IT 架构暴露出很多不适应的地方，为此业界广泛应用云计算、分布式等新技术，构建分布式架构和运维体系，以支撑金融业务的快速发展。这些新技术的应用使得基础设施复杂性日益增加，不可预见的用户行为和事件交织在一起，对系统、应用架构的可靠性提出了更高要求。为解决分布式系统的不确定性，确保生产稳定运行，混沌工程应运而生。根据《Chaos Engineering》书中的定义：混沌工程是在分布式系统上进行实验的学科，目的是建立系统抵御生产环境中湍流条件的能力。通常来说，混沌工程指对分布式系统中的服务器随机注入不同类型的故障，发现并修复系统中的潜在问题，从而提升整个分布式系统的高可用能力。

传统系统高可用测试的痛点

中国工商银行从 2015 年启动了 IT 架构转型工程，基于分布式、云计算初步构建了开放平台核心银行系统，目前分布式体系已承载 150 余个应用，累计部署容器超过 2 万套，日均服务调用量超 70 亿，消息发送峰值每秒逾 150 万笔，实现了远超主机性能容量的集群处理能力。但与此同时，在分布式体系下支撑服务的底层技术架构和平台系统日益复杂，生产运行不确定因素相较于主机明显增多，网络异常、磁盘 IO 夯等系统层面故障导致的生产问题呈现增长趋势。由于传统项目测试人员针对系统高可用相关场景