机器学习模型高性能、高并发部署实践探索

---

高并发服务简介

高并发意味着大流量，需要运用技术手段抵抗流量的冲击，这些手段好比操作流量，能让流量更平稳地被系统所处理，带给用户更好的体验。常见的高并发场景有：淘宝双11、春运抢票、微博大V的热点新闻等。除了这些典型事情，每秒几十万请求的秒杀系统、每天千万级的订单系统、每天亿级日活的信息流系统等，都可以归为高并发。该情况的发生会导致系统在这段时间内执行大量操作，例如对资源的请求，数据库的操作等。如果高并发处理不好，不仅仅降低了用户的体验度（请求响应时间过长），同时可能导致系统宕机，严重的甚至导致OOM异常，系统停止工作等。

从宏观角度看，高并发系统设计的目标有三个：

• 高性能
• 高可用
• 高可扩展

从微观角度看，高性能、高可用和高可扩展的衡量指标如下：
1、性能指标
平均响应时间、吞吐量、TP90/TP99等分位置值
2、可用性指标
具有较高无故障运行能力，可用性 = 正常运行时间 / 系统总运行时间

对于高并发系统，最基本要求保证3个9或者4个9

3、可扩展性指标