星云零售信贷基于 Apache Doris 的 OLAP 演进之路

本文导读：

腾梭科技是国内领先的零售金融数字化及安全服务提供商，是腾讯投资且在金融领域的战略合作伙伴，并与腾讯联合研发了“星云智慧信贷解决方案。在其信贷业务转型过程中，随着系统规模不断扩大，早期架构无法再满足业务需求，因此腾梭科技决定引入 Apache Doris 实现业务升级。本文将详细介绍其信贷业务如何基于 Apache Doris 在助贷系统日志分析场景的实践应用，实现毫秒级并发查询响应与极致存储性价比的性能表现。

作者：腾梭科技 研发总监 刘建波

---

腾梭科技是国内领先的零售金融数字化及安全服务提供商，是腾讯投资且在金融领域的战略合作伙伴，专注于为持牌金融机构提供零售金融业务全流程解决方案。结合核心团队多年风控与反欺诈经验，腾梭与腾讯联合研发了“星云智慧信贷解决方案“和“伽利略智慧风控系统”，全方位解决金融机构在零售金融业务中遇到的技术难题，推动金融机构信贷风险管理由策略驱动转向人工智能模型驱动，增强业务精准营销能力，助力银行实现普惠金融，延伸金融服务广度和深度，打通服务实体经济的“最后一公里”。

作为互联网金融科技公司，腾梭科技由早期的网贷转型为以助贷为核心的业务模式，联合行业内各大友商行共同提供信贷服务。在获得一定客户群体基础后，腾梭科技信贷服务开展了全量客群的挖掘，开启线上以及线下结合或纯线上贷款全流程业务模式的探索，为新零售金融场景提供微服务技术应用，包括潜在客户信用评估、拒贷款分析、贷后管理、预期催收以及风控管理等方面。

基于以上业务模式的演进，系统技术架构也随之发生了变化与升级，从集中式的单机系统转化为分布式场景。由于引入了各大合作银行的 TP 系统（如 MySQL 、Oracle、PostgreSQL 等），使系统规模不断扩大，当传统的关系型数据库无法完成多种数据源之间的数据关联时，架构逐渐出现数据孤岛与数据割裂的现象，因此 OLAP 引擎的应用成为打破数据孤岛必不可少的工具。 对于助贷系统的架构升级，如何进行高效数据采集和处理、如何在庞大的客户数据中准确了解潜在客户需求与信用情况以加快贷款审批速度、如何通过客户数据管理实现高效精准获客、赋能营销策略，成为了我们业务重点发展方向。

为了满足这些要求，腾梭科技历经三代架构演进。第一代架构基于 Kettle 离线数仓，第二代架构引入 Trino 进行统一查询，在经过两代架构使用后发现其性能的不足，决定引入 OLAP 引擎。最终通过产品调研选择 Apache Doris 作为第三代架构核心进行数据统一存储与分析。本文将详细介绍三代架构的演进历程和应用实践，分享业务场景落地经验。

早期架构演进

架构 1.0 ：基于 Kettle + MySQL 离线数仓

在业务初期，我们使用 Flume Sink 进行数据采集，利用 DolphineScheduler + Shell 进行数据调度，基于 Kettle 抽取离线数据进入关系型数据库中形成离线数仓，进行基础的 T+1 报表取数工作。由于 Kettle 仅支持离线取数的功能，不支持数据存储，因此数据始终保存在原始端。随着数据量的不断增大，当事实表条数达到千万级时，Kettle 的性能逐渐变得不稳定，单表查询任务的执行时间出现延迟现象，无法满足较大业务规模的使用需求。同时，Kettle 不支持多数据源之间的关联查询功能，在 TP 系统多样的情况下，查询效率无法得到保障。