Qunar 是如何解决 IDC 网络故障自愈问题的

苗宏涛

2010年加入Qunar，目前负责技术保障部运维管理工作，先后带领团队完成DNS系统，负载均衡系统和运维自动化体系，分布式存储系统的规划和建设工作。

---

1、背景介绍

我在2010年加入 Qunar 的时候，Qunar 的 IDC 规模还比较小，服务器也只有几百台。随着公司的发展，业务对服务器的需求也越来越大，随之 Qunar 的 IDC 规模也逐渐壮大起来。如果将所有服务器放到一个 IDC 中，虽然管理会简单一些，但是带来的风险也是不可避免的。单个机房出现故障的风险还是存在的，比如电力、网络、空调，都可能影响到业务的正常运行，尤其是网络。大家都知道，一般 IDC 都会有很多个用户，而现在的互联网用户经常会受到攻击烦扰。另一个方面，每个 IDC 的上连运营商的接入方法也是差别的，这又会造成运营商与 IDC，运营商本身网络的抖动给我们的服务带来了不稳定性。为了分担风险，我们实施了多机房部署方案，搭建 Qunar 的骨干网，解决了机房间流量互通和链路冗余问题。

多机房部署方案，解决了单个 IDC 扩容问题，同时提供了多个出口提供服务。但是当遇到单个机房出问题的时候，部分服务还是会受到影响。原有的处理方式：运维同学接收到报警，然后迅速打开笔记本，连接 vpn（进入内网），检查监控影响，