稳定性建设-从研发到运维的全方位攻略（八股向）

一、稳定性建设为什么难

        作为一名开发人员，系统稳定性建设的必要性无需多做介绍，是典型的重要不紧急的工作。以下简单整理一些描述。

        必要性：系统提供的是产品和服务，其稳定运行是保障业务连续和用户体验的基石。

        难点：系统稳定性建设面临着诸多挑战，包括技术复杂性、用户需求变化、基建的不可预测性等。另外系统无事发生体现不出稳定性建设的重要，一旦出现事故，那么稳定性相关的追责又是不可避免。

        收益：通过系统稳定性建设，可以提升用户体验，保障业务发展；同时，还能提高企业的运营效率，降低运维成本。

二、研发测试的稳定性建设

        典型做法：

1. 代码质量：通过代码审查、自动化测试等手段确保代码质量，减少潜在错误。
2. 模块化设计：采用模块化设计思想，降低系统各部分的耦合度，提高系统的可扩展性和可维护性。
3. 压测：提前对系统进行压力测试，模拟高并发场景，确保系统在高负载下仍能稳定运行。

        服务建设

1. 选择合适的开发框架和工具：根据系统需求选择合适的开发框架和工具，提高开发效率和质量。
2. 持续集成与持续部署：通过持续集成与持续部署流程，及时发现并修复问题，加速系统迭代。

三、线上监控与故障预案

        典型做法：

1. 实时监控：建立完善的监控系统，实时监控系统的各项性能指标。
2. 故障预警与定位：通过预设的预警机制及时发现潜在问题，并利用日志分析、性能剖析等手段快速定位故障点。
3. 故障预案：针对可能出现的故障情况制定详细的故障预案，确保在故障发生时能够迅速响应。

       服务建设：

1. 高可用性设计：通过负载均衡、容错机制、熔断、降级、限流等手段提高系统的可用性。
2. 指标建设：细化系统的监控指标和告警，做到及时发现、快速定位。一般常见的指标由接口响应时长、请求数量、错误数量，不同水位的指标等
3. 数据备份与恢复：建立完善的数据备份机制，确保在数据丢失或损坏时能够及时恢复。

四、放火压测、值班巡检

        典型做法：

1. 定期放火、压测：模拟系统故障场景进行盲测，检验系统的容错能力和恢复能力。
2. 值班巡检制度：建立值班巡检制度，定期对系统进行巡检，及时发现并处理潜在问题。

        服务建设

1. 放火：引入不同的放火工具平台，对不同服务、模块进行放火，验证监控对有效性，及服务等容灾情况
2. 压测：引入不同的压测工具平台，从全链路、子链路、服务级、接口级等不同角度，进行压测，得到最大QPS、QTS
3. 值班机制：整理值班手册，明确值班原则，要保证止损一定是第一要义。通过问题、事故的汇总反馈给稳定性建设进程，不断迭代。

五、小结

        系统稳定性建设是一个需要长期投入的过程，涉及研发、测试、运维等多个环节。通过提高代码质量、加强线上监控、制定故障预案以及实施防火盲测和值班巡检等措施，可以有效地提升系统的稳定性。