平安人寿基于 Apache Doris 统一 OLAP 技术栈实践

导读：平安人寿作为保险行业领军企业，坚持技术创新，以数据业务双轮驱动的理念和更加开放的思路来应对不断增长的数据分析和应用需求；以深挖数据价值、保障业务用数效率为目标持续升级大数据产品体系。自 2022 年起平安人寿开始引入开源实时数据仓库 Apache Doris 并基于此统一 OLAP 技术栈，通过统一的数据开发与服务打破了原有系统的数据“孤岛”、降低了需求的开发成本、加速了业务需求的交付周期，并满足了业务方更高数据时效性与查询响应度的要求，最终形成更开放、灵活、可扩展的企业级管理与分析大数据产品体系，实现数据价值的最大化释放，助力企业由“粗放型”业务增长转变为“精细化”效益提升。

作者：平安人寿大数据架构师 杜天敏｜孙顺

保险业务的持续拓展，离不开企业的数字化战略创新。平安人寿秉承“一站式服务”的理念，以数据驱动服务质量，并早在 2005 年已经建立了离线数仓，将业务系统的数据集中存储于 Oracle 中并按业务需求开发数据报表，同时根据寿险的不同业务主题搭建了数据集市，以加快报表生成。

随着大数据时代的到来，传统数据库出现性能瓶颈，基于 Oracle 的数据仓库无法满足海量数据的存储、处理与应用需求，因此在 2016 年平安人寿引入了 Hadoop 建立寿险大数据平台。在近十年的大数据技术探索中，以提升数据质量、加快业务数据分析效率、加速数据价值变现为目标，平安人寿基于大数据平台构建了数据中台并引入数据治理体系，全方位保障业务用数效率、提升数据生产力。在数据应用层引入了多个开源大数据处理和分析组件，结合业务对于分析的实际需求开发了多个数据应用系统，为业务用户分析决策提供支持。

如今，随着数智化时代的到来，数据价值的重要性得到更深度认可，深挖数据价值成为新的目标。在此背景下，平安人寿坚持技术创新，以更加开放的思路来应对不断增长的数据分析和应用需求，升级大数据产品体系正是其中至关重要的一步。

为了进一步提升数据应用效率、降低多组件带来的运维和使用成本，平安人寿自 2022 年起开始引入开源实时数据仓库 Apache Doris，对多个数据应用系统进行了升级，基于 Apache Doris 统一了 OLAP 引擎层技术栈。Apache Doris 的引入为平安人寿大数据产品体系打破了原有系统的数据“孤岛”、统一了数据开发与应用层查询服务，降低了需求的开发成本、加速了业务需求的交付周期，并满足业务方更高数据时效性与查询响应度的要求，最终形成更开放、灵活、可扩展的企业级管理与分析大数据产品体系，实现数据价值的最大化释放。

本文将深入探讨大数据产品体系中应用系统的迭代升级经验，分享平安人寿在数据开发与服务化平台的创新应用实践，并介绍如何基于 Apache Doris 极速分析与融合统一的特性，助力企业运营效率提升、业务决策高效，实现由“粗放型”业务增长转变为“精细化”效益提升，通过以数据驱动的数智化转型，推进保险企业高质量发展。

早期大数据产品体系总览

早期大数据产品体系如上图所示，数据流转过程主要分为离线与实时两条链路：

• 离线数据通过 Sqo