亿级大表毫秒关联，荔枝微课基于Apache Doris 统一实时数仓建设实践

本文导读： Apache Doris 助力荔枝微课构建了规范的、计算统一的实时数仓平台，目前 Apache Doris 已经支撑了荔枝微课内部 90% 以上的业务场景，整体可达到毫秒级的查询响应，数据时效性完成 T+1 到分钟级的提升，开发效率更是实现了 50% 的增长，满足了各业务场景需求、实现降本提效，深得十方融海各数据部门高度认可。

作者： 陈城，数据中台组组长

深圳十方融海科技有限公司成立于 2016 年，是一家数字职业在线教育头部企业，业务涵盖“数字职业技能课程、知识分享平台「荔枝微课」、智慧教育解决方案「女娲云教室」”，推出了多类数字素养与数字技能课程服务，助力用户在数字时代实现技能进阶与职业进阶。2016年上线荔枝微课，已发展成为国内头部知识分享平台。2021年上线女娲云教室，实现了“教学练”一体化模式，填补了国内在线教学与实操脱轨的空白。

业务介绍

荔枝微课隶属于深圳十方融海科技有限公司，是一个免费使用的在线教育平台。荔枝微课拥有海量的知识内容，包括直播视频、录播视频、音频等多种形式。

通过技术和数据的赋能，推进荔枝微课持续创新，也为微课平台方和合作伙伴在视频的创新和销售方面提供了更强劲的支持。在业务运营过程中我们需要对用户进行全方位分析，高效为业务赋能。数据平台旨在集成各种数据源的数据，整合形成数据资产，为业务提供用户全链路生命周期、实时指标分析、标签圈选等分析服务。

早期架构及痛点

早期架构选用的是 Hadoop 生态圈组件，以 Spark 批计算引擎为核心构建了最初的离线数仓架构，基于 Flink 计算引擎进行实时处理。从源端采集到的业务数据和日志数据将分为实时和离线两条链路：

• 在实时部分，业务库数据通过 Binlog 的方式接入，日志数据使用 Flume-Kafka-Sink 进行实时采集，利用 Flink 将数据计算写入到 Kafka 和 MySQL中。在实时数仓的内部，遵守数据分层的理论以实现最大程度的数据复用。
• 在离线部分，利用 Sqoop 和 DataX 对全量和增量业务库中的数据进行定时同步，日志数据通过 Flume 和日志服务进行采集。当不同数据源进入到离线数仓后，首先使用 Hive on Spark/Tez 进行定时调度处理，接着根据维度建模经过 ODS、DWD、DWS、ADS 层数据，这些数据存储在 HDFS 和对象存储 COS 上，最终利用 Presto 进行数据查询展示，并通过 Metabase 提供交互式分析服务。同时为了保障数据的一致性，我们会通过离线数据对实时数据进行定期覆盖。

问题与挑战：

基于 Hadoop 的早期架构可以满足我们的初步需求，而面对较为复杂的分析诉求则显得心有余而力不足，再加上近年来，荔枝微课用户体量不断上升，数据量呈指数级上升，为了更好的为业务赋能，提高用户使用体验，业务侧对数据的实时性、可用性、响应速度也提出了更高的要