钱大妈生鲜如何利用 CCR 实现 Apache Doris 集群读写分离

钱大妈是社区生鲜连锁品牌的开拓者，经过十一年的稳健运营，已成为行业内的领军品牌，截至 2023 年 7 月已全国布局超 30 多座城市，门店总数 3000 余家，服务家庭超 1000 万。近年来，随着业务的高速发展以及门店的快速扩张，钱大妈需要对生鲜产品的采购、销售、库存等数据进行实时监控和分析，以保障食品的新鲜度及品质。同时需要管理众多门店与供应链信息，以了解各区域销售趋势和顾客偏好，从而优化商品结构和库存管理。

在此背景下，钱大妈基于 Apache Doris 搭建了实时数仓，为业务用户提供实时精准的数据查询及分析服务。自引入 Apache Doris 后，钱大妈的报表和 BI 分析能力有了质的飞跃，能够轻松面对海量数据的处理，并实现秒级别的查询响应。凭借 Apache Doris 强大的性能，钱大妈能够实时监控生鲜产品的流通情况，为商品结构的优化和食品新鲜度的保障提供坚实的数据支撑。

读写分离需求背景

在当前的数据仓库架构中，从 ODS 层 - DWD 层 - DWS 层 - ADS 层的数仓分层均在 Apache Doris 内部构建，采用微批调度机制实现数据分层加工处理。随着业务的迅猛发展，需要存储和应用的数据规模愈加庞大，带来最明显的变化是数据写入规模与查询频次的急剧攀升，如果在执行调度任务的同时进行数据查询，可能出现系统资源抢占问题。一旦资源出现紧缺，将导致写入和查询任务性能下降，甚至出现任务失败或系统宕机，给集群稳定性带来影响。

因此，钱大妈考虑通过读写分离策略来解决这一问题。 具体而言，就是将经过高度加工处理的 ADS 层数据同步至另一个 Doris 集群，专供用户查询使用。这样不仅可以保证集群的稳定性，还能避免不规范的业务查询对数据导入和加工产生干扰。而读写分离方案的实现，就需要依赖跨集群数据复制能力。

早期方案

在之前版本中，由于备份恢复的方式难以保证数据的实时性和强一致性，因此我们决定借助 Doris 的多源数据目录 Multi-Cat