BigQuery 分区表简介和使用

BigQuery分区表的使用与管理

最新推荐文章于 2025-08-23 11:19:08 发布

原创

最新推荐文章于 2025-08-23 11:19:08 发布 · 2.6k 阅读

18 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #googlecloud

本文介绍了分区表的概念和原理，以BigQuery为例，探讨了分区表在查询条件为区间、分区数量、查询效率等方面的常见问题。还介绍了BigQuery分区表的三种类型，包括时间分区表、区间分区表和注入时间分区表，以及创建、查询和管理分区表的方法。

大纲

在这里插入图片描述

什么是分区表

我们先看定义：

分区表是一种数据库表设计和管理技术，它将表中的数据划分为逻辑上的多个分区，每个分区包含一组特定的数据。每个分区都根据定义的分区键（通常是一个列或字段）的值进行分类，使得数据可以按照特定的逻辑规则进行划分和组织。

通过使用分区表，可以将大型表分解为更小的、可管理的部分，以提高查询性能、数据维护效率和存储资源的利用率。分区表的实现方式和语法可能因数据库管理系统而异，但基本概念和原则是相似的。

具体给个例子：

我有张table sales_details，和一些测试数据，如下：

select * from DS2.sales_details

Order_ID|Product                 |Quantity_Ordered|Price_Each|Order_Date|Purchase_Address                        |
--------+------------------------+----------------+----------+----------+----------------------------------------+
176565  |updated                 |               1|    1700.0|2019-04-24|915 Willow St, San Francisco, CA 94016  |
176565  |updated                 |               1|    1700.0|2019-04-24|915 Willow St, San Francisco, CA 94016  |
176565  |updated                 |               1|    1700.0|2019-04-24|915 Willow St, San Francisco, CA 94016  |
176565  |updated                 |               1|    1700.0|2019-04-24|915 Willow St, San Francisco, CA 94016  |
176565  |updated                 |               1|    1700.0|2019-04-24|915 Willow St, San Francisco, CA 94016  |
176565  |updated                 |               1|    1700.0|2019-04-24|915 Willow St, San Francisco, CA 94016  |
176609  |Apple Airpods Headphones|               1|     150.0|2019-04-11|267 11th St, Austin, TX 73301           |
176609  |Apple Airpods Headphones|               1|     150.0|2019-04-11|267 11th St, Austin, TX 73301           |
176609  |Apple Airpods Headphones|               1|     150.0|2019-04-11|267 11th St, Austin, TX 73301           |
176609  |Apple Airpods Headphones|               1|     150.0|2019-04-11|267 11th St, Austin, TX 73301           |
176609  |Apple Airpods Headphones|               1|     150.0|2019-04-11|267 11th St, Austin, TX 73301           |
176609  |Apple Airpods Headphones|               1|     150.0|2019-04-11|267 11th St, Austin, TX 73301           |
176617  |Apple Airpods Headphones|               1|     150.0|2019-04-25|319 8th St, Portland, OR 97035          |
176617  |Apple Airpods Headphones|               1|     150.0|2019-04-25|319 8th St, Portland, OR 97035          |
176617  |Apple Airpods Headphones|               1|     150.0|2019-04-25|319 8th St, Portland, OR 97035          |
176617  |Apple Airpods Headphones|               1|     150.0|2019-04-25|319 8th St