系统用户量猛增导致的性能瓶颈问题

在这个数字化时代，信息与沟通变得越来越便捷。然而，当用户数量达到一定规模时，如何让每个用户都能够即时收到重要的通知信息却是一个挑战。
在我们的场景中，系统预计有30万用户订阅了我们的服务，并要求将变动的通知消息在5分钟内一对一推送到每个用户。这看似简单的任务背后却隐藏着无数的技术挑战。
每秒钟可能有成千上万的消息需要被处理和推送，这样的高并发量对于系统的负载是一个巨大的考验。在测试中，我们发现系统的mysql负载超标，占用cpu100%，这意味着我们的系统已经无法继续正常工作。
为应对这样的情况，我们不仅仅需要优化代码以提高系统效率，还需要进行硬件升级以增加系统承载能力。同时，我们还需要考虑如何保证消息推送的准确性和时效性，以避免因消息滞后或遗漏而导致的用户体验下降。
与此同时，我们还需要建立强大的监控机制，及时发现和处理系统异常，以确保系统稳定可靠地运行。确保能够让每个用户都能够及时收到重要的通知信息，提高用户满意度和忠诚度。
下面是一些排查问题的记录