B 站基于 StarRocks 构建大数据元仓

作者：bilibili 大数据高级开发工程师 杨洋

B站大数据元仓是一款用来观测大数据引擎运行情况、推动大作业治理的系统诊断产品。经过调研和性能测试，大数据元仓最终以 StarRocks 为技术底座，从实际的应用效果来看，大部分查询都能在几百毫秒内返回结果。 B站大数据元仓是一款用来观测大数据引擎运行情况、推动大作业治理的系统诊断产品。经过调研和性能测试，大数据元仓最终以 StarRocks 为技术底座，从实际的应用效果来看，大部分查询都能在几百毫秒内返回结果。

随着B站业务的高速发展，数据量已达到 EB+ 级，为了适应数据服务需求，B站大数据平台引入了 Presto、Spark、ClickHouse 等多种大数据引擎。

在大数据引擎运行过程中，由于缺乏一些运行时的切面数据，我们难以实时观测引擎的运行情况，另外，由于缺乏作业维度的统计信息，我们也难以推动用户对大作业进行治理。为了满足这些需求，B站构建了大数据元仓系统。

大数据元仓涉及的大数据组件包括 Yarn、Presto、Spark 等，以 Presto 元仓为例，系统主要从集群、队列、query 等三个维度进行分析。 其中集群维度可以细分为包括 CPU、内存、扫描数据量等在内的节点资源汇总信息和包括各种 query 状态统计的集群 query 汇总信息；队列维度主要包括队列的资源、水位信息；query 维度则是对集群 query 汇总信息的一个补充，可以获取更详细的信息，比如可以具体了解导致查询失败的异常情况。

技术选型

需求特点

目前，我们的内部监控架构基于 Prometheus 搭建，Prometheus 存储数据量有限，通常仅为一两个月的数据，不适合存储长时间的历史数据。此外，Prometheus 是基于度量的系统，更多地用于展示趋势性数据，例如集群的 CPU 和内存情况等，但对于像元仓这样需要下钻到具体明细数据的需求，Prometheus 则难以满足。