梧桐数据库的高效索引技术行业调研报告

最新推荐文章于 2025-12-07 14:43:45 发布

原创

最新推荐文章于 2025-12-07 14:43:45 发布 · 990 阅读

18 ·

CC 4.0 BY-SA版权

文章标签：

#数据库

1.背景意义及研究目的

1.1 研究背景和需求

随着江苏移动公司业务应用持续丰富，生产和汇聚的数据不断增加，数据总量大幅上升，数据中台共有数百万张数据表，万亿条数据，存量数据总容量达数PB，增量数据日均约10TB。面对海量数据，快速查询定位数据、及时获取最新数据的用户诉求日益强烈。而主要汇聚和存放数据的Hadoop和Gbase，优势是通过批计算方式处理大规模数据，其主要作用是支撑数据仓库建设和应用，其底层技术设计并非主要面向实时性要求高的场景，一般延迟性比较高，并不能够在大规模数据集上实现低延迟快速的查询，表现为查询数据的整体计算过程用时久，至少10秒以上，甚至达数小时。并且引出另一个问题，中台上部分慢任务会长时间持续占用有限计算资源，增加其他任务排队等待、不能及时产出结果的风险，在这种情况下很难快速在海量的中台数据中快速查到目标数据。

现有的各专业系统数据库生产、存放着原始业务数据，数据中台负责汇聚、积累着各系统的数据备份，用于数仓建设和支撑时效性不高的数据分析型场景应用。

因此，对于用户而言，期望可以方便、快捷查询到最新目标数据，及时支撑公司业务。而当前的数据查询方案，在某些业务场景中已经无法及时、高效的应对查询需求，达不到支撑业务的目的，迫切需求一个全新的数据加速查询方案。梧桐数据库的高效索引技术可以解决当前的问题，实现方便快捷的查询最新的目标数据。

1.2 目的和意义

通过研究梧桐数据库的数据高效实时检索与查询技术，可解决江苏移动现有业务系统中海量（ PB 级以上）结构化的快速检索查找难题，为大数据应用奠定技术基础，检索大数据环境下的数据检索的应用，为后续的大数据应用深化奠定基础，使得业务系统中的海量数据的快速检索应用成为可能。

建设海量数据的高速检索引擎，打造数据高效查询的支撑能力，为各个业务端以及内外部系统提供高效的查询服务，以底层数据支撑能力完善国网数据中心的数据中台建设。通过封装数据查询的配置管理模块，加强系统的灵活性，将经营中累积的海量数据通过数字化技术手段充分利用，加快数据流转速度，提升数据价值，进一步为客户服务、为经营增效，探索与业务结合的最佳方式。

通过深化研究江苏移动海量数据的高效实时检索与查询，可以突破原有系统的功能及业务瓶颈，解决原有业务系统的数据计算、查找、挖掘难题，大大扩展业务系统的功能范围，深化大数据应用业务。围绕优化业务场景，建立可基于海量客户流水数据的秒级在线检索查询能力。借助强大的检索查询能力突破创新，将冗长繁杂的人工提取历史数据的工作，转变为业务方高度自助的实时查询服务，加速新技术的规模化应用，有效提升服务质量、降低人力成本、加强经营效率。高效数据检索查询的灵活扩充能力，也从底层为业务场景的不断扩展提供强有力的支撑，降低日常开发维护成本，同时加快数据查询需求投入应用的时效，提升业务场景扩展的灵活性，从而为业务分析人员和领导决策提供有效支撑。

通过提高计算查询效率，在业务和技术需求上满足公司业务侧的数据快速使用需求，解决业务数据查询响应慢的痛点，实现海量数据中快速查询到目标数据的业务需求，将为新型的应用系统建设提供数字化能力保障、强有力的数据技术支撑，积极通过数字化赋能新型应用系统，利用数字化技术推进系统各环节升级，助力公司扎实推进新型系统的建设与转型。