Delta Lake快速入门指南：Python版基础操作详解

Delta Lake快速入门指南：Python版基础操作详解

delta An open-source storage framework that enables building a Lakehouse architecture with compute engines including Spark, PrestoDB, Flink, Trino, and Hive and APIs 项目地址: https://gitcode.com/gh_mirrors/del/delta

概述

Delta Lake是一个开源存储层，为数据湖带来ACID事务能力。本文将通过Python示例代码，详细介绍Delta Lake的基础操作流程，帮助读者快速掌握其核心功能。

环境准备

在开始之前，需要确保已安装以下组件：

• PySpark
• Delta Lake Python包

初始化Spark会话

Delta Lake需要特定的Spark配置才能启用其全部功能：

spark = SparkSession.builder \
    .appName("quickstart") \
    .master("local[*]") \
    .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension") \
    .config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog") \
    .getOrCreate()

关键配置说明：

• spark.sql.extensions：启用Delta Lake的SQL扩展
• spark.sql.catalog.spark_catalog：设置Delta Lake为默认的目录实现

基础操作流程

1. 创建Delta表

data = spark.range(0, 5)
data.write.format("delta").save("/tmp/delta-table")

这里我们创建了一个包含0到4整数的简单表。Delta表以Parquet格式存储，并带有事务日志。

2. 读取Delta表

df = spark.read.format("delta").load("/tmp/delta-table")
df.show()

读取操作与常规Spark数据源类似，只需指定格式为"delta"。

3. 数据合并(Upsert)

Delta Lake的核心特性之一是支持高效的合并操作：

deltaTable.alias("oldData")\
    .merge(
        newData.alias("newData"),
        "oldData.id = newData.id")\
    .whenMatchedUpdate(set={"id": col("newData.id")})\
    .whenNotMatchedInsert(values={"id": col("newData.id")})\
    .execute()

合并操作逻辑：

• 当新旧数据ID匹配时更新记录
• 当新数据ID不存在时插入记录

4. 覆盖写入

data.write.format("delta").mode("overwrite").save("/tmp/delta-table")

这会完全替换表中的数据，但Delta Lake会保留旧版本以实现时间旅行功能。

5. 条件更新

deltaTable.update(
    condition=expr("id % 2 == 0"),
    set={"id": expr("id + 100")})

此操作将所有偶数ID值增加100，展示了Delta Lake对复杂更新操作的支持。

6. 条件删除

deltaTable.delete(condition=expr("id % 2 == 0"))

删除所有偶数ID的记录，同样支持复杂的条件表达式。

7. 时间旅行(Time Travel)

Delta Lake最强大的功能之一是能够查询历史数据：

df = spark.read.format("delta").option("versionAsOf", 0).load("/tmp/delta-table")

通过指定版本号，可以查看表在特定时间点的状态，这对于数据审计和错误恢复非常有用。

最佳实践建议

1. 合理使用合并操作：对于频繁的更新场景，merge操作比先删除再插入更高效

2. 版本控制策略：虽然Delta Lake自动维护历史版本，但应考虑设置保留策略以避免存储膨胀

3. 优化文件大小：定期运行OPTIMIZE命令来合并小文件，提高查询性能

4. Z-ordering：对常用查询条件的列使用Z-ordering可以显著提高查询速度

总结

通过本文的示例，我们演示了Delta Lake的核心功能，包括：

• 表的创建和读取
• 数据合并(Upsert)操作
• 条件更新和删除
• 历史数据查询(时间旅行)

Delta Lake为数据湖带来了数据库级别的可靠性和功能，同时保持了大数据处理的扩展性。这些特性使其成为构建现代数据架构的理想选择。

delta An open-source storage framework that enables building a Lakehouse architecture with compute engines including Spark, PrestoDB, Flink, Trino, and Hive and APIs 项目地址: https://gitcode.com/gh_mirrors/del/delta