BigQuery:强大的数据仓库解决方案
1. 计算资源扩展
在大数据处理中,计算资源的扩展能力至关重要。BigQuery 使用“插槽(slots)”来衡量资源,大致而言,一个插槽约为半个 CPU 核心。它将插槽作为一种抽象概念,用于表示可用的物理计算资源数量。
当遇到查询运行缓慢,或者更多人需要创建报告时,只需增加插槽;若想削减开支,则减少插槽。由于 BigQuery 是一个多租户系统,能够管理大量硬件资源池,它可以按查询或用户分配插槽。你既可以为项目或组织预留硬件,也能在共享的按需资源池中运行查询。通过这种资源共享方式,BigQuery 能为查询投入大量计算能力。若按需资源池的计算能力不足,还可通过 BigQuery 预留 API 购买更多。
一些 BigQuery 客户预留了数万个插槽,这意味着若一次仅运行一个查询,这些查询可同时消耗数万个 CPU 核心。在合理假设每行处理所需 CPU 周期数的情况下,这些实例每秒能够处理数十亿甚至数万亿行数据。
不同客户的需求差异较大,有些客户拥有 PB 级数据,但日常仅使用相对少量的数据;而另一些客户仅存储几百 GB 数据,却使用数千个 CPU 执行复杂查询。因此,不存在适用于所有用例的通用方法。幸运的是,BigQuery 的计算与存储分离设计,使其能够满足广泛的客户需求。
以下是一个简单的需求与资源对应表格:
| 客户需求 | 数据量 | 计算资源使用情况 |
| ---- | ---- | ---- |
| 日常少量数据使用 | PB 级 | 按需使用少量资源 |
| 复杂查询 | 几百 GB | 数千个 CPU |
超级会员免费看
订阅专栏 解锁全文
439

被折叠的 条评论
为什么被折叠?



