20、BigQuery 性能优化指南

BigQuery 性能优化指南

1. BigQuery 缓存与 BI Engine

BigQuery 会使用专门的查询处理器处理内存中的数据。你可以通过 BigQuery 管理控制台为其缓存预留内存（当前最大为 10GB），操作步骤如下：
1. 打开 BigQuery 管理控制台。
2. 找到设置缓存内存的选项。
3. 为缓存预留所需的内存，确保该内存与你查询的数据集位于同一区域。

预留内存后，BigQuery 会开始在内存中缓存表、表的部分数据和聚合结果，从而加快查询结果的返回速度。BI Engine 主要用于从仪表盘工具（如 Google Data Studio）访问的表。通过为 BI Engine 预留内存，可以让依赖 BigQuery 后端的仪表盘响应更迅速。

2. 高效连接操作

2.1 反规范化

为了提高读取性能并避免连接操作，可以采用反规范化的方法，即放弃高效存储数据，增加数据的冗余副本。例如，对于自行车租赁数据，可以创建一个反规范化表：

CREATE OR REPLACE TABLE ch07eu.london_bicycles_denorm AS 
SELECT 
  start_station_id 
  , s.latitude AS start_latitude 
  , s.longitude AS start_longitude 
  , end_station_id 
  , e.latitude AS end_latitude 
  , e.longitude AS end_longitude