在金融服务加速迈向“线上化、数据化、智能化”的当下,传统数据仓库与大数据平台“双库分立”的模式,逐渐暴露出诸多问题:处理海量交易数据时,性能跟不上;技术复杂,导致开发效率低;数据融合难,阻碍业务创新。
齐鲁银行精准抓住行业痛点,引入湖仓一体技术,打造了全新的金融数据中台,以数据湖和数据仓库为核心支撑,通过数据应用平台,提供数据交换、开发、管理等一站式服务。
针对客户标签、指标分析、合规审计等实际业务需求,在数据仓库基础上搭建了专项数据集市,让数据按主题分类存储,调用起来更加便捷。平台提供的数据服务经过标准化处理后,统一上架到数据超市。下游用户通过数据门户,就能轻松访问数据超市。
本项目还构建了包含标签、指标、智慧经营分析在内的应用服务体系,为金融服务带来了更高的效率和更多的可能(如图1-1所示)。
图1-1 项目建设内容
湖仓一体架构创新。数据湖对行内外结构化、非结构化的多模态数据进行低成本存储;数据仓库对整合后的数据进行主题化建模与深度加工。通过湖仓一体架构创新,深度融合两者优势,实现数据与计算资源的自由流动,存储成本直降50%,计算任务平均处理速度提升70%(如图2-1所示)。