18、BigQuery性能优化与成本控制指南

BigQuery性能优化与成本控制指南

1. BigQuery查询基础与性能原理

在进行查询时，可利用元文件来优化查询过程。若有一个包含表中所有数据文件元数据的元文件，当执行带有 WHERE field1 = 30 谓词的查询时，可先向该元文件发送查询，它会返回所需的文件（如 file0002 ），这样就无需打开其他文件来满足查询需求。

性能调优方面，传奇计算机科学家唐纳德·克努斯（Donald Knuth）曾指出：“过早优化是万恶之源”。不过他的完整表述更为平衡，即约97%的时间应忽略小的效率问题，但在关键的3%中不应错过优化机会。性能调优应在开发阶段后期进行，且仅当典型查询耗时过长时才实施。拥有灵活的表架构和优雅、易读、可维护的查询，比为追求微小性能提升而混淆表布局和查询更重要。但在某些情况下，确实需要提升查询性能，了解性能权衡有助于在不同设计方案中做出选择。

2. 查询性能的关键驱动因素

查询完成所需时间取决于多个因素：
- 从存储中读取的数据量及数据组织方式。
- 查询所需的阶段数以及这些阶段的并行化程度。
- 每个阶段处理的数据量和计算复杂度。

一般而言，读取三列的简单查询比仅读取两列的查询耗时多50%，因为前者需读取更多数据；需要进行 GROUP BY 的查询往往比无需此操作的查询慢，因为 GROUP BY 操作会增加查询阶段。

3. 成本控制

查询成本取决于定价计划，BigQuery有两种定价计划：
| 定价计划类型 |