查询速度提升15倍！银联商务基于 Apache Doris 的数据平台升级实践

原创

已于 2024-01-11 17:14:59 修改 · 884 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#apache #数据库 #大数据 #数据分析 #数据仓库

于 2024-01-11 10:49:02 首次发布

银联商务为满足业务和数据增长需求，从Hadoop升级到基于Apache Doris的新一代实时数仓架构。文章介绍了应用场景、目标选型，阐述了数仓体系建设实践，包括分层规划、数据迁移等，还分享了金融级数仓稳定性实践，如多租户隔离、权限管理等，最后提及未来规划。

本文导读：

在长期服务广大规模商户的过程中，银联商务已沉淀了庞大、真实、优质的数据资产数据，这些数据不仅是银联商务开启新增长曲线的基础，更是进一步服务好商户的关键支撑。为更好提供数据服务，银联商务实现了从 Hadoop 到 Apache Doris 的架构升级，使数据导入性能提升 2-5 倍、ETL 场景性能提升 3-12 倍、查询分析响应速度提升 10-15 倍，满足大规模数据导入和实时极速查询的业务需求，解决了业务和数据快速增长问题，提升了数据应用构建的效率，充分助力业务提效与数字资产的服务化，推进数字化进程的落地，展示了 Apache Doris 在推动金融科技创新方面的巨大潜力。

作者：银联商务杨劲雄、周阳

如今，数据已经成为了推动经济增长的新动力，数字技术正在成为社会发展的重要引擎。随着数字经济的迅猛发展，金融企业纷纷加大在金融科技领域的投入，以提升自身的数字化运营能力，加速数字化转型的进程。在这一背景之下，银联商务以 “全量打通、准确实时、随需自助、智能交互” 为数字化转型目标，加快推进数字基础设施建设。

在长期服务广大规模商户的过程中，银联商务已沉淀了庞大、真实、优质的数据资产数据，这些数据不仅是银联商务开启新增长曲线的基础，更是进一步服务好商户的关键支撑。为了实现数据资产可管理、可视化、可赋能的建设目标，银联商务早在 2015 年就基于 Hadoop 体系构建了大数据平台，为公司及商户提供了数据支持。但随着业务的不断扩展，银联商务总公司各部门和分子公司对于数据应用的建设需求不断涌现，早期基于 Hadoop 的大数据平台已无法高效支撑拓展性、时效性与便捷性的业务需求，因此数据平台的迭代升级势在必行。

2020 年起，银联商务开启了数据平台的升级之旅，基于 Apache Doris 构建了新一代实时数据仓库架构，使数据导入性能提升 2-5 倍、ETL 场景性能提升 3-12 倍、查询分析响应速度提升 10-15 倍，满足大规模数据导入和实时极速查询的业务需求，解决了业务和数据快速增长问题，提升了数据应用构建的效率，充分助力业务提效与数字资产的服务化，推进数字化进程的落地。

应用场景

在长期为各行各业的海量商户提供服务的过程中，银联商务沉淀了大量的交易数据、用户数据、终端数据以及经营数据等。通过对这些数据的挖掘和利用，为银联商务总、分、子公司以及商户提供多元化的数据服务，可以发掘隐藏在其中的价值和消费趋势，成为掌握经营掌控、进行经营决策的有效工具。典型数据服务场景包括：

经营分析场景：建设指标体系和驾驶舱，帮助业务方及管理者实时了解整体业务经营状态。
业务运营场景：建设标签体系，更好理解用户画像及需求，从而提供精准的产品和业务服务。
数据分析和挖掘场景：构建自助分析和报表服务，更好地了解自己的业务情况并做出科学决策。
对外数据服务场景：构建对账单、报表和数据报告服务，以帮助商户更好地了解市场需求。

银联商务离线数仓应用场景

为满足上述场景需求，银联商务早在 2015 年就引入了 Hadoop 体系构建了大数据平台，并基于 Hive 构建了离线数仓。该架构整合了来自 MySQL、Oracle、MongoDB 等多业务系统的数据，按照 T+ 1 的时效性归集到 Hive 离线数仓中，经由 Hive 数仓各层的加工处理后分别同步至不同组件中提供数据查询服务，包括基于 Kylin 与 HBase 构建 Cube 进行指标查询分析，并使用 HBase 进行增量数据的质量监测，同时还将处理完毕的数据同步到 Oracle 中提供业务数据查询。

该架构各组件各司其职、整体架构清晰，在早期承载了业务对于数据查询服务的需求。在移动支付快速席卷的浪潮下，支付场景更加多元化，银联商务业务规模稳步增长、总部及分子公司对于数据应用的建设需求不断涌现，而传统的大数据平台已经无法高效支撑业务和数据的不断增长，痛点逐步展现出来：

数据时效性：整体数据处理链路较长，大规模数据导入和加工处理的效率低，最新业务数据从生产到应用的时间间隔太长，无法充分发挥实时数据的价值；
查询效率低：Kylin 早期承担了大多指标查询分析的需求，随着业务量增长、数据预处理的成本越来越高、无法支持灵活快速的分析诉求，而 Hive 在应对复杂查询时性能不足、只能依赖于堆加机器，这无疑大大增加了硬件资源成本；
运维成本和可扩展性：整体架构涉及多个组件，运维工作量较大，在应对业务需求增长的过程中可扩展性不足，无法敏捷响应数据的快速增长和数据应用快速上线的要求。