StarRocks查询性能分析：深入理解Query Profile指标

StarRocks查询性能分析：深入理解Query Profile指标

starrocks StarRocks是一个开源的分布式数据分析引擎，用于处理大规模数据查询和分析。 - 功能：分布式数据分析；大规模数据查询；数据分析；数据仓库。 - 特点：高性能；可扩展；易于使用；支持多种数据源。 项目地址: https://gitcode.com/gh_mirrors/st/starrocks

引言

在StarRocks分布式数据库系统中，Query Profile是分析查询执行性能的重要工具。本文将深入解析Query Profile的结构组成、合并策略以及各类关键指标，帮助数据库管理员和开发人员更好地理解和优化查询性能。

Query Profile结构解析

五层执行架构

StarRocks的查询执行引擎采用分层设计，Query Profile对应地由五个层次组成：

1. Fragment：执行树的基本单元，一个查询由一个或多个Fragment组成
2. FragmentInstance：每个Fragment可以有多个实例，由不同计算节点执行
3. Pipeline：执行链，由一组首尾相接的Operator构成
4. PipelineDriver：Pipeline的多个执行实例，用于充分利用计算核心
5. Operator：基础执行算子，完成具体计算任务

这种分层结构能够精确反映查询在分布式环境中的执行过程。

合并策略优化

为了减少Profile数据量，StarRocks提供了合并策略：

• 三层结构（默认）：合并FragmentInstance和PipelineDriver层
• 五层结构：保留完整层次结构

通过pipeline_profile_level参数控制合并行为：

• 1：启用合并（推荐）
• 2：禁用合并

合并时会对指标进行特殊处理：

• 时间类指标：计算平均值
• 非时间类指标：计算总和
• 同时记录各实例的最小/最大值

当MIN和MAX值差异显著时，通常表明存在数据倾斜问题。

核心指标详解

全局指标

1. Total：查询总耗时，包括计划、执行和性能分析阶段
2. Query State：查询状态（Finished/Error/Running）
3. QueryExecutionWallTime：实际执行时间
4. QueryPeakMemoryUsagePerNode：各节点峰值内存的最大值

执行概览指标

1. QueryCumulativeCpuTime：所有节点CPU时间总和
2. QueryCumulativeScanTime：所有Scan节点IO时间总和
3. QuerySpillBytes：溢出到磁盘的数据量
4. ResultDeliverTime：结果传输耗时

Fragment级别指标

1. InstanceNum：Fragment实例数量
2. BackendNum：参与执行的BE节点数
3. InstancePeakMemoryUsage：实例峰值内存

Pipeline级别指标

Pipeline指标之间存在严格的时序关系：

DriverTotalTime = ActiveTime + PendingTime + ScheduleTime
ActiveTime = ∑ OperatorTotalTime + OverheadTime
PendingTime = InputEmptyTime + OutputFullTime + PreconditionBlockTime

关键指标包括：

1. DegreeOfParallelism：并行度
2. ActiveTime：有效执行时间
3. InputEmptyTime：输入队列空导致的阻塞时间
4. ScheduleTime：调度等待时间

通用Operator指标

所有算子共有的指标：

1. OperatorTotalTime：算子总耗时
2. PullTotalTime/PushTotalTime：数据拉取/推送耗时
3. PushRowNum/PullRowNum：输入/输出行数

关键算子专项分析

Scan Operator深度解析

OLAP Scan指标

存储结构相关指标：

1. Table/TabletCount：表及分片数量
2. RowsRead/RawRowsRead：读取行数（过滤前/后）
3. BytesRead：读取数据量

IO性能指标：

1. ScanTime：扫描总时间
2. IOTaskExecTime：IO任务执行时间
   • SegmentInit：段初始化时间
   • SegmentRead：段读取时间
3. IOTaskWaitTime：IO任务等待时间

索引过滤指标：

1. BitmapIndexFilterRows：位图索引过滤行数
2. ZoneMapIndexFilterRows：ZoneMap过滤行数
3. PredFilterRows：谓词过滤行数

Connector Scan指标

1. DataSourceType：数据源类型（Hive/ES等）
2. InputStream：输入流统计
   • AppIOTime：应用层IO时间
   • FSIOTime：存储系统IO时间
3. ORC：ORC文件相关指标
   • StripeNumber：ORC条带数量

Exchange Operator分析

Exchange Sink指标

1. ChannelNum：通道数量
2. BytesSent：发送数据量
3. NetworkTime：网络传输时间
4. CompressTime：压缩耗时

Exchange Source指标

1. BytesReceived：接收数据量
2. DeserializeChunkTime：反序列化耗时
3. ReceiverProcessTotalTime：接收处理总时间

计算类算子指标

Aggregate Operator

1. AggComputeTime：聚合计算时间
2. HashTableSize：哈希表大小
3. InputRowCount：输入行数
4. StreamingTime：流式处理时间

Join Operator

1. BuildHashTableTime：构建哈希表时间
2. ProbeConjunctEvaluateTime：探测条件评估时间
3. RuntimeFilterNum：运行时过滤器数量

Window Function

1. ComputeTime：窗口计算时间
2. PartitionSearchTime：分区搜索时间
3. PeakBufferedRows：缓冲行数峰值

性能分析实践建议

1. 定位瓶颈：首先关注各算子的执行时间和处理数据量
2. 识别倾斜：检查MIN/MAX值差异显著的指标
3. IO优化：分析Scan算子的过滤效果和IO耗时
4. 内存分析：监控各阶段的峰值内存使用
5. 网络优化：关注Exchange算子的数据传输情况

通过系统性地分析这些指标，可以准确识别查询性能瓶颈，为优化提供明确方向。

总结

StarRocks的Query Profile提供了极其丰富的性能指标，覆盖了查询执行的各个环节。理解这些指标的含义和相互关系，是进行高效性能调优的基础。建议在实际工作中结合具体场景，有针对性地分析关键指标，逐步提升查询性能。

starrocks StarRocks是一个开源的分布式数据分析引擎，用于处理大规模数据查询和分析。 - 功能：分布式数据分析；大规模数据查询；数据分析；数据仓库。 - 特点：高性能；可扩展；易于使用；支持多种数据源。 项目地址: https://gitcode.com/gh_mirrors/st/starrocks