得物彩虹桥架构演进之路-负载均衡篇

文 / 新一

一、前言

一年一更的彩虹桥系列又来了，在前面两期我们分享了在稳定性和性能2个层面的一些演进&优化思路。近期我们针对彩虹桥 Proxy 负载均衡层面的架构做了一次升级，目前新架构已经部署完成，生产环境正在逐步升级中，借此机会更新一下彩虹桥架构演进之路系列的第三篇。

阅读本文预计需要20～30分钟，建议不熟悉彩虹桥的同学在阅读本文前，可以先看一下前两篇彩虹桥架构演进的文章：

得物数据库中间件平台“彩虹桥”演进之路

彩虹桥架构演进之路-性能篇｜得物技术

二、背景

彩虹桥目前依赖 SLB 做负载均衡和节点发现，随着业务发展流量越来越高，SLB 带宽瓶颈逐渐暴露，虽然在半年前做过一次双 SLB 改造临时解决了带宽瓶颈，但运维成本也随之变高。除了带宽瓶颈外，SLB 无法支持同区优先访问，导致难以适配双活架构。所以准备去除彩虹桥对 SLB 的强依赖，自建彩虹桥元数据中心，提供负载均衡和节点发现等能力，同时支持同区访问等能力来更好的适配双活架构。下面会详细介绍一下彩虹桥元数据中心以及 SDK 相关能力的相关细节。

三、核心名称解释

四、现有架构回顾

在开始介绍彩虹桥元数据中心之前，我们先来回顾一下彩虹桥目前架构，以及存在的一些痛点。

现有架构

• 业务服务集成 SDK 通过域名访问，请求经过 SLB 转发到具体的 Proxy 节点。

• 每个集群挂载双 SLB，SDK 通过 DNS 解析轮训路由到2个 SLB，2个 SLB 挂载不同的后端节点。

• 每个集群部署的 Proxy 节点均为一个可用区，双活架构为集群维度多可用区部署。

• 业务侧大多数为多可用区混布，单同一个逻辑库只会连接一个彩虹桥集群，由于彩虹桥一个集群内的节点均为同一可用区，所以业务服务-彩虹桥这条链路必然会出现一半节点跨区访问。

• 彩虹桥集群按照业务域划分，彩虹桥集群所属业务域的 RDS 大多数都会跟彩虹桥集群同区。比如彩虹桥交易集群为i区，归属交易集群的逻辑库挂载的 RDS 大多数也都是i区。

主要痛点

• SLB 带宽已达瓶颈（5Gb/s，历史上出现过多次 SLB 带宽达到 100%的情况），目前彩虹桥单集群挂载了双 SLB 暂时解决带宽瓶颈但仍存在痛