StarRocks SQL Digest功能详解：高效分析SQL性能模式-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00791/article/details/148416647

StarRocks SQL Digest功能详解：高效分析SQL性能模式

starrocks StarRocks是一个开源的分布式数据分析引擎，用于处理大规模数据查询和分析。 - 功能：分布式数据分析；大规模数据查询；数据分析；数据仓库。 - 特点：高性能；可扩展；易于使用；支持多种数据源。项目地址: https://gitcode.com/gh_mirrors/st/starrocks

什么是SQL Digest

SQL Digest（SQL摘要）是一种将SQL语句中的具体参数值去除后生成的"指纹"标识。它能够将结构相同但参数不同的SQL语句归为同一类别，为数据库性能分析和优化提供了重要工具。

SQL Digest的核心价值

在数据库运维和性能优化中，SQL Digest主要解决以下问题：

性能分析：快速识别系统中执行最频繁或最耗时的SQL模式
问题排查：查找历史查询中结构相同但参数不同的SQL语句
资源优化：统计相同结构SQL的资源消耗情况
趋势观察：跟踪特定SQL模式的执行频率和性能变化趋势

StarRocks中的SQL Digest实现

StarRocks从3.3.6版本开始支持SQL Digest功能，主要通过审计日志(fe.audit.log)记录每条SQL的摘要信息。

工作原理示例

考虑以下两条SQL语句：

SELECT count(*) FROM lineorder WHERE lo_orderdate > '19920101';
SELECT count(*) FROM lineorder WHERE lo_orderdate > '19920202';

在审计日志中，这两条SQL会生成相同的Digest值：

Digest=f58bb71850d112014f773717830e7f77
Digest=f58bb71850d112014f773717830e7f77

启用SQL Digest功能

要使用SQL Digest功能，需要先进行配置：

动态启用方式

ADMIN SET FRONTEND CONFIG ("enable_sql_digest" = "true");

永久启用方式

在FE配置文件fe.conf中添加：

enable_sql_digest = true

修改后需要重启FE节点使配置生效。

SQL Digest的实际应用

启用后，可以通过审计日志表进行各种分析：

1. 查询相似SQL模式

SELECT * FROM starrocks_audit_db__.starrocks_audit_tbl__ 
WHERE digest = '<Digest>'
LIMIT 1;

2. 统计SQL执行趋势

SELECT 
    date_trunc('day', `timestamp`) query_date, 
    count(*) execution_count,
    sum(queryTime) total_time,
    sum(scanRows) total_rows,
    sum(cpuCostNs) total_cpu,
    sum(memCostBytes) total_mem
FROM starrocks_audit_db__.starrocks_audit_tbl__ 
WHERE digest = '<Digest>'
GROUP BY query_date
ORDER BY query_date DESC 
LIMIT 30;

3. 分析SQL性能特征

SELECT 
    avg(queryTime) avg_time,
    min(queryTime) min_time,
    max(queryTime) max_time,
    stddev(queryTime) time_deviation
FROM starrocks_audit_db__.starrocks_audit_tbl__ 
WHERE digest = '<Digest>';

4. 识别最耗时的SQL模式

WITH top_sql AS (
    SELECT digest, sum(queryTime) total_time
    FROM starrocks_audit_db__.starrocks_audit_tbl__ 
    GROUP BY digest
    ORDER BY total_time DESC 
    LIMIT 10 
)
SELECT * FROM starrocks_audit_db__.starrocks_audit_tbl__ 
WHERE digest IN (SELECT digest FROM top_sql);

SQL Digest的参数化规则

StarRocks在生成SQL Digest时会进行以下归一化处理：

常量值归一化：所有常量值会被替换为占位符
- WHERE a = 1 → WHERE a = ?
- WHERE a = 2 → WHERE a = ?
IN谓词归一化：IN列表中的元素数量不影响Digest
- IN (1,2,3) → IN (?)
- IN (1,2) → IN (?)
LIMIT子句归一化：LIMIT后的数字会被归一化
- LIMIT 10 → LIMIT ?
- LIMIT 30 → LIMIT ?