白鲸开源 X SelectDB 金融大数据联合解决方案公布！从源头解决大数据开发挑战

业务挑战与痛点

随着互联网技术的发展、云计算技术的成熟、人工智能技术的兴起和数字化经济的崛起，数据已成为企业的核心资产。在金融行业中，数字化已成为了支撑各类业务场景的核心力量，包括个人理财、企业融资、股票交易、保险理赔、贷款服务、支付结算、投资咨询、资产管理等等。然而，在基于大数据分析与处理技术的业务建设中，当下的金融企业也面临许多挑战与不足：

1. 实时与查询性能不足，高并发支持挑战大： 金融行业中常见的风控、决策分析、高管看板、实时营销等业务场景均要求数据的高时效性以及秒级甚至毫秒级的查询性能；同时金融行业常见的支付、转账、账务业务场景均对吞吐量有很高的要求，需要稳定的高并发数据服务支持。然而基于离线数仓的架构实时性能不足，俨然已经无法满足数据快速获取和业务价值变现的诉求。
2. “数据孤岛”制约大数据发挥价值： 金融行业的数据来源通常包含三大类：业务信息数据、行为数据和第三方数据。这些数据通常来自不同的数据源。烟囱式系统建设导致各部门业务系统相互独立，形成大大小小的数据孤岛，造成数据分析和决策困难等。
3. 数据质量问题频发： 金融大数据来自不同的生产部门，数据通过不同的链路、不同的写入方式到达目标端供查询，服务链路的稳定性难以保障，导致数据的准确性、完整性、一致性等质量问题频发，各团队花费了大量精力也难以很好地保障整体数据服务质量。
4. 架构复杂带来成本增加： 金融企业的技术栈差异非常大，复杂的技术栈使得开发与维护的成本成倍增长，平台之间的数据迁移成本、多副本存储成本、数据转换的风险成本随着技术栈的增多而逐年递增。

金融行业的数字化转型已经被推上日程，选择正确的技术与工具以完成大数据业务的构建是抓住机遇的关键一环。在众多应对数字化转型的策略中，实时数仓可以帮助企业实现数据的实时采集、存储和查询，通过 T+0 的大数据分析流程帮助企业快速通过数据捕捉到业务变化。而 DataOps 则可以帮助企业实现数据的快速交付、高质量和高效率，从而更好地支持业务决策和创新。基于实时数据仓库+DataOps 展开数字化转型已经成为趋势。

基于 SelectDB +白鲸开源 WhaleStudio 的解决方案

方案整体介绍

SelectDB 是飞轮科技基于 Apache Doris 打造的新一代实时数据仓库，面向不同行业提供通用的端到端实时大数据分析解决方案，帮助企业轻松构建起 T+0 的实时大数据分析流程。目前，飞轮科技已推出 SelectDB Cloud 和 SelectDB Enterprise 两款企业级产品，能够差异化地满足云上开箱即用、私有化部署和自主可控的不同需求。

SelectDB 的解决方案能够金融企业提供：

• 实时高效的数据导入和数据更新： 提供从数据流、各类数据库、数据湖外表等异构数据源的毫秒级实时数据导入和集成能力；实时插入/更新/删除的数据更新能力，高效实现秒级别的小批量实时写入。
• 百亿数据秒级查询响应： 提供世界级领先的极致查询性能。单边聚合及多表关联场景下，均可达 ClickHouse、Presto、Greenplum、Hive 等同类产品的三倍到数十倍，生产环境下轻松实现百亿数据秒级查询响应