TiDB + ES：转转业财系统亿级数据存储优化实践

以下文章来源于转转技术 ，作者戴美琪

导读

本文详细介绍了转转业财系统亿级数据存储优化的实践。面对系统数据量大、慢查询多等挑战，转转业财采取了 TiDB 方案优化数据量问题，同时引入 Elasticsearch（ES）解决慢查询难题。实践表明，通过底层数据存储切换和 ES 接入，系统成功突破了存储瓶颈，显著提升了查询效率和响应速度，为大规模数据处理提供了有效的优化路径。

本文作者 ：戴美琪，转转交易中台研发工程师

背景

1.1 现状

目前转转业财系统接收了上游各个业务系统（例如：订单、oms、支付、售后等系统）的数据，并将其转换为财务数据，最终输出财务相关报表和指标数据，帮助公司有效地进行财务管理和决策。

转转业财系统于 2021 年开始构建，前期为了满足需求短时间内上线，选择了主动接收上游业务系统的数据。然而随着时间的推移，数据量在不断增长，系统已经达到无法承载的边缘，引发了许多问题。因此，我们需要对数据存储进行优化。

1.2 数据量统计

业财系统数据量较大表统计：

以下是数据量较大的表数据增量趋势图，可以观察到近几个月由于新业务的增加，每月的数据增量已经达到一千万。

1.3 慢查询情况

从慢查询监控平台可以看到，每天慢查询个数已经到达千量级别。慢查询不仅影响用户体验，还会大量消耗所在机器资源，严重可能导致机器宕机。另外，转转 MySQL 数据库架构属于单机多实例，一台物理机上部署多套集群的实例，所以不仅会影响系统本身集群，还会拖累其他集群，引发雪球效应。

设计目标