从离线到实时：无锡锡商银行基于 Apache Doris 的数据仓库演进实践

作者：武基鹏，无锡锡商银行 大数据技术经理

编辑整理：SelectDB 技术团队

导读：为实现数据资产的价值转化以及全面数字化、智能化的风险管理，无锡锡商银行大数据平台经历从 Hive 离线数据仓库到 Apache Doris 实时数据仓库的演进，目前已接入数百张实时表、上百数据服务接口 ，接口 QPS 达到数百万级别，解决了离线数据仓库时效性不足、成本高昂、效率低下等问题，查询提速超 10 倍，为用户提供及时、有效、安全的数据服务及使用体验。

面对大数据、物联网、人工智能等新兴技术给金融行业带来的变革，无锡锡商银行将科技能力和大数据能力的发展放在重要位置。为实现数据资产的价值转化以及全面数字化、智能化的风险管理，基于“业务线上化、风控数据化、架构平台化”三翼一体的科技布局，无锡锡商银行建立了大数据平台，以管理每日流入的海量交易记录与信贷申请数据，借助用户画像、实时报表、实时风控等应用，为用户提供更加及时、有效、安全的数据服务及使用体验。

无锡锡商银行大数据平台经历了基于 Hive 离线数据仓库到基于 Apache Doris 的实时数据仓库演进。通过架构的升级，解决了离线数据仓库时效性不足、成本高昂、效率低下等问题，实现查询速度 10 倍提升，使得银行能够更快感知客户行为，及时洞察异常交易行为、识别和预防潜在的风险。本文将详细介绍无锡锡商银行大数据平台演进历程以及 Apache Doris 在实时查询、营销服务、风控服务等场景的落地实践。

基于 Hive 的大数据离线数据仓库

01 需求场景

无锡锡商银行早期建设了大数据离线数据仓库，主要服务于数据报送、数据风控、数据运营、即席查询及日常取数等场景，需求场景包括且不限于：

• 数据报送：客户风险、EAST 报送、1104、大集中、征信报送、利率报备、反洗钱、金融基础数据报送等。
• 数据风控：包含对贷款类风控指标、用户行为指标、反欺诈、贷后预警、贷后管理等风险控制。
• 数据运营：对 BI 业务报表、管理驾驶舱、行外渠道和行内各系统进行定时批量供数。
• 即席查询及日常取数：根据业务需求进行数据分析、数据开发及数据提取。

02 架构及痛点

在早期离线数据仓库中，数据主要来源于 Oracle、MySQL、MongoDB、Elasticsearch 以及文件。通过使用 Sqoop、Spark、外部数据源和 Shell 等工具，将数据离线抽取到 Hive 离线数据仓库中，并在 Hive 中通过 ODS、DWD、DWS 和 ADS 分层处理，最终输出结果为应用服务层提供支持。