现在已经快到19年的5月,离北京华夏银行交流已经半年。现在再回顾,之前的交流内容的脉络更清晰了。
这次北京之行是奔着华夏银行信用卡中心关于建设大数据平台的需求而去的。其中一个重要部分是基于大数据平台构建历史数据查询平台。
这里分享历史数据查询平台建设的背景以及历史数据查询平台的优势。
痛点分析
银行在构建历史数据之前,在线事务产生的交易数据往往会存储在交易的业务系统和核心系统中,并把久远的历史交易数据迁移存储在传统数仓里。一些技术体系不完善的小行甚至只存储在业务系统。随着时间的推移和数据量大不断增大,历史数据的查询会成为巨大的痛点。业务系统因为要应对频繁的历史数据查询,无法专注于交易本身的优化和提升。
- 可查询的历史交易数据的范围小。
客户往往只能查到自己最近一年到2年的数据,3年前的数据需要到柜面递交查询申请,查询结果要等待的时间漫长,不能做到实时出结果。原因在于把历史数据迁移到传统数仓后,业务系统仅仅有近一两年的数据可查。数仓不提供实时查询功能,则3年前的数据都需要数仓的运维人员写查询的sql。这就直接导致体验极差。
- 查询耗时长,等待过程让用户体验极差,最后甚至报错。
如果业务系统中积累的历史数据很