Ozone数据探查服务的增量数据更新机制

最新推荐文章于 2024-09-02 09:52:01 发布

原创

最新推荐文章于 2024-09-02 09:52:01 发布 · 1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#数据探查 #数据分析系统

本文介绍了Ozone数据探查服务Recon Server如何通过RocksDB的Update WAL实现增量数据更新，以提高数据实时性。Recon Server避免了频繁的Checkpoint操作，转而使用getUpdatesSince API监听transaction更新，通过OMDBUpdatesHandler处理事务并将更新应用于SQL汇聚表，实现更高效的探查服务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

前言
Ozone数据探查服务：Recon Server
Recon Server基于Checkpoint获取定期DB Snapshot的弊端
RocksDB基于Update WAL的Delta更新
引用

前言

笔者之前写过一篇关于存储系统数据探查分析的文章：存储系统“数据之眼”的设计–数据探查服务。文章主要阐述了关于对存储系统，我们如何对其上存储的海量数据做一个常规分析同时不能影响系统提供正常的数据服务。其中的一个核心思想是构建一个探查服务，这个服务定期获取存储系统db文件快照，然后做二次分析，并将结果存入到结果汇聚表中。本文笔者将继续聊聊目前社区对此的进一步优化实现：能够基于RocksDB的Delta Update的方式做更加准实时地结果分析服务。

Ozone数据探查服务：Recon Server

为了使大家能够了解本文笔者将要阐述的，这里有必要提及Ozone数据探查服务Recon Server的服务设计架构，如下图所示：

在这里插入图片描述

在早些时间，社区已经实现了从OM Follower到Recon Server的Checkpoint for bootstrap的分支。目前下面的分支apply WAL update也即将要实现，这个过程也是笔者本文将要阐述的主要内容：Recon Server基于RocksDB的WAL做Delta更新。