vivo x TiDB丨解决云服务海量数据挑战

关注

原创 2023-02-20 12:14:27 1.1k 阅读 AI 写同款· GEO 优化 ›

vivo 是一家全球性的移动互联网智能终端公司，品牌产品包括智能手机、平板电脑、智能手表等，截至 2022 年 8 月，已进驻 60 多个国家和地区，全球用户覆盖 4 亿多人。

vivo 为用户提供了在手机上备份联系人、短信、便签、书签等数据的能力，底层存储采用 MySQL 数据库进行数据存储。随着 vivo 业务发展，用户量增长迅速，存储在云端的数据量越来越大，海量数据给后端存储和数据库带来了巨大的挑战。云服务业务最大的痛点，就是如何解决用户海量数据的存储问题。

本文介绍了 vivo 的数据库和存储系统，以及如何使用分布式数据库 TiDB 解决海量数据挑战。 详细介绍了 vivo 采用 TiDB 过程中的真实体验，包括海量数据实时 OLAP 方案、云服务业务中的元数据管理方案，和基于自研的 NoSQL 数据库 TiKV 的实践。分享了如何解决海量数据存储和管理的问题，以及提高业务效率和用户体验的实践经验。

vivo 数据库与存储体系

在这里插入图片描述

vivo 数据库与存储体系产品矩阵

在整个 vivo 云服务体系中，数据库与存储处于核心位置，从体系上可以分为两层，最上面一层是工具产品层，包含数据库存储统一管控平台、数据传输服务（支持数据同步、数据订阅、数据迁移等）、运维白屏化工具等。下面一层是数据库产品层，这一层又分为三个部分：一部分是 MySQL、 TiDB 等关系型数据库；一部分是 Redis、ElasticSearch、MongoDB、磁盘 KV 等非关系型数据库；还有一部分是对象存储、文件存储、块存储等存储服务。

在这里插入图片描述

vivo 数据库与存储运营管理

为了管理这些众多的数据库与存储产品，vivo 打造了一个数据库与存储运营管理平台，主要分为三层架构：

最底层是支撑、管理所有数据库的工具产品，包含数据存储服务、关系型数据库、NoSQL 数据库，以及生态工具；
中间是功能层，包括基础存储服务、数据管理服务，以及存储自治服务；
最上面是运营层，包括权限账单、用户管理、工单服务等基础服务。同时还有一些安全相关服务，如数据脱敏、数据加密、权限管控、命令通道、数据审计等一系列功能。

TiDB 在 vivo 的落地实践

在这里插入图片描述

此前，vivo 已经用了很多年关系型数据库 MySQL。基于原生的 MySQL 数据库，vivo 结合集群高可用的管理与数据库代理的一体化架构，通过域名服务、名字服务进行接入，提供通用的关系型数据库服务。它主要具有三大核心能力：

第一，兼容 MySQL 协议与 SQL 语法；
第二，增强 MySQL 集群管控能力。vivo 引入 MySQL 的时间很早，在 MySQL 的一些集群管控能力上都有自研的能力；
第三，安全增强能力，包括密码管理、数据脱敏、数据加密等能力。

本质上 MySQL 架构还是一个主从架构，并没有分布式技术引入。针对数据量较大、流量较大的场景，或者分析场景，给业务带来了巨大挑战。基于以上原因，vivo 在对比了主流分布式数据后后考虑引入分布式关系型数据库 TiDB，作为关系型数据库产品矩阵的一环，补充整个关系型数据库的能力。

引入 TiDB 帮助 vivo 解决了一些在 MySQL 生态中无法解决的问题：

TiDB 可以解决数据量过大、流量过大的问题，以及海量数据分析的场景；
TiDB 兼容 MySQL 语法，业务迁移比较平滑；
TiDB 支持水平扩展，相比传统的 MySQL 复杂的分库分表方式，TiDB 的扩展能力大大降低了运维压力；
TiDB 具备数据强一致性、高可用性，可以提供金融级数据安全性。

vivo 研发团队具有较强的自研能力，他们将内部所有数据库统一实现了平台化管理，这是一种提供高度自助、高度智能化、高可用、低成本的数据存储使用与管理平台，包含从数据库服务的申请、部署、维护、变更、优化，以及数据恢复、服务下线等一系列数据库全生命周期的管理。

在应用 TiDB 后，vivo 研发团队同样也将 TiDB 集成到该平台中，实现诸如 TiDB 的自动化部署、服务维护、数据变更、数据恢复，包括一些还在持续建设中的能力，如服务优化、服务变更。这些能力与 vivo 的全球化业务场景息息相关。全球化业务场景要求更好满足于本地客户服务，以及符合本地数据安全相关的一些管理规范。所以 vivo 的服务都是本地化部署，平台化的管理方式可以帮助运维、研发更好地支撑业务研发或者业务变更的效率。

该平台一方面提升了 vivo 整个数据服务的安全性，如账号密码管控、敏感数据加密脱敏、集成的研发效能等。在业务开发团队需要一个 TiDB 服务的时候，几分钟内就能得到一款分布式数据库进行代码开发，降低了运维管理成本；运维（DBA）再也不需要登陆服务器执行各种涉钥命令；最后，平台也大大提升了数据的可用性。vivo 数据库团队将一些 TiDB 的备份恢复工具及数据库的可用性也集成在平台里。

应用场景

推送业务基于 TiDB 的海量数据实时 OLAP 方案

在这里插入图片描述

vivo 的推送业务基于 TiDB 实现了一套实时 OLAP 方案。该场景中具有千亿级别的数据指标，vivo 希望数据在数据指标写入时可以实现秒级入库。同时，该场景还要求以月度为范围秒级出报表。原方案中使用了其他 OLAP 数据库方案或 MySQL 方案，在出报表时总会给数据库集群服务造成很大压力，指标的计算性、时效性也很差。尤其当面临海量数据时，查询与指标变更成本会变得很高。引入 TiDB 后，vivo 可以从实时链路里直接把数据秒级写入，再通过 DM 工具，把关系型数据库里面维度的数据，以及其他相关联的数据都同步过来，最终在 TiDB 中进行多表关联，为最终用户提供数据服务，如 BI 报表等。在该场景中，TiDB 的高性能、低延时等特性解决了 vivo 数据量大、时效性高等难题。

云服务业务基于 TiDB 的海量元数据管理方案

在这里插入图片描述

vivo 云服务是 vivo 为用户提供的在手机上进行数据备份、数据恢复同步的一款服务。这款服务用到了对象存储与文件存储，同时有大量的元数据需要存储。原方案使用了 MySQL 分库分表的方式，但 MySQL 实际上还是一个单集群方案，分库分表的业务逻辑需要在业务层实现，这就需要解决复杂的业务逻辑问题。同时，分库分表造成运维十分困难，扩容成本高、扩容耗时间长。基于以上原因，vivo 基于 TiDB 实现了一套海量元数据管理方案，支撑了 vivo 百亿级别的元数据表和日志数据表存储，核心业务时延小于 50ms。

基于 TiKV 自研的 NoSQL 数据库实践

由于 TiDB 整个产品都采用开源的模式，vivo 并没有满足于只作为 TiDB 的使用者，还基于 TiDB 的底层存储引擎 TiKV 自研了一款 NoSQL 数据库，希望能够实现一个高性能的、高稳定的多数据模型的分布式数据库，用以服务内部大数据量存储场景，降低整体数据库的运营成本，同时还针对一些 AI 特殊业务场景的应用进行定制优化。

在此之前，vivo 的 NoSQL 数据库产品矩阵中 KV 产品实际上只有 Redis，但 Redis 是基于内存的存储，性能虽然很好，但存在数据无法持久化及成本高等问题。基于此，vivo 基于 TiKV 研发了自己的 NoSQL 数据库。它兼容 Redis 协议，能够以很低的成本进行迁移，可以持久化大规模存储 TB 级别，甚至 PB 级别数据，还具备高性能、水平扩展、高效故障切换、数据安全保证一致性等特点。之所以能做到这些，很大程度上是因为 TiKV 原本就具备了很好的能力，如存储引擎水平扩展能力、高效故障切换能力、数据安全保证能力等。目前，这款 NoSQL 数据库已经在 vivo 内部的推荐平台、内部管理平台、应用中心中应用。

在这里插入图片描述

通过引入 TiDB ，vivo 解决了原 MySQL 架构无法应对数据量大、流量大等挑战，优秀的水平扩展能力及高可用特性支撑了 vivo 百亿级别的元数据表和日志数据表存储，核心业务时延不到 50ms 。同时，TiDB 的实时 HTAP 能力还帮助 vivo 解决了报表时效性问题。未来，vivo 还将持续在内部混合云中云化 TiDB 产品，将 TiDB 全生命周期的各个能力，在 vivo 内部云上实现出来，支持更多的业务场景。

收录于