从3分钟到10秒：Doris统计信息背后不得不说的故事

瞧！又一位被查询性能困扰的数据工程师正对着电脑发呆。屏幕上的SQL执行时间像极了等外卖的倒计时 - 永远看不到头。
这位同学已经尝试过八百种优化方案，却忘了Doris数据库里有个默默付出的"隐形英雄" - 统计信息。
统计信息就像是CBO优化器的"千里眼"和"顺风耳"，没有它，优化器就成了"睁眼瞎"。很多工程师都知道CBO能带来性能提升，却不知道统计信息的收集状况直接决定了CBO的"火眼金睛"到底有多准。
在Apache Doris 2.0版本中，统计信息管理系统经过全面升级，不仅支持自动收集，还能进行健康度评估。这就像给数据库配了个"私人医生"，定期体检，及时预警。
让我们一起揭开统计信息的神秘面纱，看看这个默默无闻的"幕后英雄"如何让你的查询性能起飞！

CBO优化的幕后英雄

深夜加班写SQL，查询速度慢得让你抓狂？CBO优化器明明是性能提升的法宝，为何对你的查询无动于衷？别着急，问题很可能出在统计信息这个"隐形助手"身上。

作为Apache Doris 2.0版本引入的重磅特性，CBO（基于代价的优化器）需要准确的统计信息才能发挥威力。好比厨师需要了解食材的特性才能烹饪出美味佳肴，CBO也需要掌握数据的分布特征才能制定最优的执行计划。

统计信息包含了表的行数、列的数据分布、空值数量等关键指标。这些看似简单的数字，却是CBO优化的核心依据。准确的统计信息能帮助优化器在多个可能的执行计划中选择代价最小的那个，显著提升查询性能。

让我们一起走进Doris统计信息的世界，解锁查询优化的关键密码。

统计信息全景图

统计信息看似简单，实则暗藏玄机。从收集到使用，从自动到手动，从基础统计到高级特性，构成了一个完整而精密的体系。

收集方式上，Doris提供了手动和自动两种选择。手动收集通过ANALYZE语句触发，可以精确控制收集的范围和时机。自动收集则由系统根据健康度评估自动触发，解放运维人员的双手。

统计内容方面，系统会收集行数、数据分布、空值数量等多维度信息。这些数据构成了优化器的"情报系统"，帮助其更准确地评估查询代价。

在管理层面，Doris提供了完整的作业管理、统计信息查看和删除功能，让用户可以随时掌握统计信息的健康状况。

自动收集机制

-- 自动收集开关
-- 自动收集功能自 2.0.3 版本起开始支持，且默认全天开启。用户可以通过设置 ENABLE_AUTO_ANALYZE 变量来控制该功能的启用或停用
SET GLOBAL ENABLE_AUTO_ANALYZE = TRUE; // 打开自动收集
SET GLOBAL ENABLE_AUTO_ANALYZE = FALSE; // 关闭自动收集

自动收集堪称统计信息管理的"智能管家"。它会定期扫描集群中的表，评估统计信息的健康度。当发现某张表的数据发生显著变化，或者某些列缺失统计信息时，就会自动触发收集任务。

系统默认每5分钟进行一次健康度检查。健康度低于60分的表会被重新收集统计信息。这个阈值可以通过table_stats_health_threshold参数调整，让自动收集更符合业务需求。

为了平衡资源消耗，自动收集采用采样方式，默认采样400万行数据。对于大表来说，这个采样量既能保证统计信息的准确性，又不会占用过多系统资源。

手动收集的艺术

-- 手动收集语法
ANALYZE < TABLE table_name > | < DATABASE db_name > 
    [ (column_name [, ...]) ]
    [ [ WITH SYNC ] [ WITH SAMPLE PERCENT | ROWS ] ];

有时我们需要对统计信息进行精细化管理。手动收集好比一把手术刀，让我们能精准控制统计信息的收集范围和时机。

ANALYZE语句是手动收集的指挥棒。你可以选择对整个表收集统计信息：

ANALYZE TABLE lineitem;

也可以只收集关键列的信息：

ANALYZE TABLE lineitem (l_orderkey, l_linenumber);

面对超大表时，全量收集可能会耗费较多资源。这时可以使用采样收集：

ANALYZE TABLE lineitem WITH SAMPLE PERCENT 10;

统计信息的健康诊断

-- 查看统计作业
SHOW [AUTO] ANALYZE < table_name | job_id >
    [ WHERE STATE = < "PENDING" | "RUNNING" | "FINISHED" | "FAILED" > ];
    
-- 查看统计任务
SHOW ANALYZE TASK STATUS [job_id]

-- 查看统计信息
SHOW COLUMN [cached] STATS table_name [ (column_name [, ...]) ];

-- 查看表信息概况
SHOW TABLE STATS table_name;

统计信息也需要定期体检。Doris提供了一系列方式来监测统计信息的健康状况。

查看统计作业状态：

SHOW ANALYZE;

这里你能看到每个收集任务的执行进度、状态和耗时，就像医院的检查报告一样详细。

查看具体列的统计信息：

SHOW COLUMN STATS table_name;

输出结果包含了NDV(不同值数量)、空值数量、数据大小等关键指标，帮你全面了解数据特征。

性能调优小结

说了这么多理论，来点实际的。我们经常遇到这样的场景：

1. 张工写了个复杂查询，发现执行特别慢。检查发现是JOIN的两张表缺少统计信息，导致优化器选择了错误的JOIN策略。立即对这两张表收集统计信息后，查询时间从原来的3分钟降到了10秒。

2. 李工负责的实时数仓每天有大量数据导入。通过设置合理的健康度阈值和采样比例，实现了统计信息的及时更新，查询性能始终保持稳定。

3. 王工发现自动收集占用资源过多。通过调整收集时间窗口到业务低峰期，既保证了统计信息的及时性，又避免了对业务的影响。

通过大量实践，我们总结出一些统计信息管理的黄金法则：

1. 对大表采用采样收集，采样量建议在400万行以上，既保证准确性又节省资源。

2. 定期检查统计信息的健康度，尤其是在大批量数据导入后。

3. 将自动收集时间窗口设置在业务低峰期，避免资源竞争。

4. 对于关键查询涉及的表，可以设置更严格的健康度阈值，确保统计信息的及时更新。

5. 复杂查询调优时，优先检查统计信息的完整性和准确性。

统计信息好比数据库的指南针，指引着查询优化的方向。掌握了统计信息管理的技巧，让CBO优化器成为你的得力助手，告别查询调优的烦恼。小小的配置，大大的学问。

下期，我们将一起探讨其它更有趣有用有价值的内容，敬请期待！