什么是snowflake

原创于 2025-09-16 11:06:33 发布 · 650 阅读

CC 4.0 BY-SA版权

文章标签：

16 篇文章

订阅专栏

Snowflake 是一种完全托管的云原生数据平台，即服务（Data Platform-as-a-Service）。 它的核心不是一个传统的数据库，而是一个融合了数据仓库、数据湖、数据工程、数据科学和数据分析工作负载的统一平台。

简单来说，Snowflake 提供了一个地方，让你可以存储和分析从 GB 到 PB 级别的所有数据，而无需管理任何硬件、软件或基础设施。

Snowflake 的强大和独特性源于其将传统捆绑在一起的计算和存储资源彻底分离为三个独立层，每一层都可以独立扩展。

数据库存储层
- 功能：这是 Snowflake 持久化数据的地方。当数据被加载到 Snowflake 后，它会自动优化、压缩并转换为列式格式存储。
- 关键点：此存储层使用的是 云对象存储（AWS S3, Azure Blob Storage, Google Cloud Storage）。这意味着存储是无限可扩展的，并且成本极低。用户无法直接访问这个底层存储，只能通过 Snowflake 的服务来操作。
计算处理层
- 功能：这是执行查询处理（如 SQL 查询、数据加载、DML 操作）的地方。计算资源以 虚拟仓库（Virtual Warehouses） 的形式提供。
- 关键点 - 虚拟仓库：
  - 它们本质上是独立的、按需创建和销毁的 MPP（大规模并行处理）计算集群。
  - 你可以为不同的团队（如数据工程、数据分析师）或不同工作负载（如 ETL、报表查询）创建不同大小的虚拟仓库，它们彼此完全隔离，不会争抢资源。
  - 你可以随时启动、停止、调整虚拟仓库的大小，并且只为运行查询的时间付费。这是巨大的成本优势。
云服务层
- 功能：这是大脑和协调中心。它整合了所有无需本地计算的操作，包括：
  - 身份验证和安全性
  - 基础设施管理
  - 元数据管理
  - 查询优化和编译
  - 事务管理
- 关键点：这一层自动处理，用户无需干预，费用也包含在计算和存储成本中。

这种分离架构的好处：

特性	Snowflake	传统数据仓库 (如 Teradata)	Amazon Redshift
架构	计算、存储、服务三层分离	计算与存储紧耦合于一体机	计算与存储耦合（虽然最新版本也在向分离演进）
部署与管理	完全托管，零管理	自行管理硬件和软件	托管服务，但仍需管理集群、分布键、排序键等
扩展性	即时、独立扩展计算和存储	scale-up 为主，复杂且昂贵	扩展需要调整集群节点数（resizing），可能耗时
并发性	原生支持高并发，通过多虚拟仓库隔离	有限，需要复杂配置	并发性能受单个集群配置限制
数据共享	原生、安全、实时的数据共享功能	非常困难，通常需要复制数据	需要通过 Data Sharing 功能或复制数据
支持数据类型	结构化、半结构化（JSON, Avro, Parquet 等）原生支持	主要面向结构化数据	支持半结构化数据，但体验不如 Snowflake 流畅

完全托管与零管理：用户只需关注数据和查询，无需成为 DBA。
性能与弹性：虚拟仓库提供强大的计算能力，并可瞬间扩展。
按需付费：计算和存储分开计费。计算仅在运行时收费，存储按每月使用的平均容量收费。
半结构化数据原生支持：可以直接查询 JSON, Avro, ORC, Parquet 等格式的数据，无需预先转换和加载，并能使用 SQL 点号语法轻松访问嵌套数据。
数据共享：允许在不同 Snowflake 账户之间安全、实时地共享数据，而无需复制数据。共享的是数据访问权限，而不是数据本身。这是杀手锏功能。
数据市场：可以通过 Snowflake Data Marketplace 直接访问并查询第三方提供的实时数据集。
多云支持：可以在 AWS、Azure 和 Google Cloud Platform 上运行，避免了云供应商锁定。