Delta Lake

Accelerating Accelerating 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 700+累计阅读 714平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄9年
关注
转载 最新推荐文章于 2026-05-08 14:04:13 发布 714 阅读 AI 写同款· GEO 优化 ›
DataLake — 批流一体化的追风者(2) -- Delta Lake核心原理解析 一、Delta Lake 1.Delta Lake基础概述   接上文，我们全面地讲解了Data Lake相关的概念、对比区别以及实际发展历程等。那么这篇首章开篇我们来讲历史最为悠久的Delta Lake。它的定位是流批一体的存储中间层，支持 update/delete/merge。由于出自Databricks，spark的所有数据写入方式，包括基于dataframe的批、流，以及 SQL的Insert、Insert Overwrite等都是支持的（开源版本SQL写暂不支持）。与Iceber... 阅读详情

Delta Lake

1 重点问题

Delta Lake API 支持哪种类型的写操作？

Delta Lake 可以解决哪些需求？

快点清理掉被合并掉的小文件，如何设置安全期参数

2 什么是Delta Lake

整体来看的话，其实就是在数据入hdfs之前多了delta lake这层组件，能够对小文件合并，脏数据处理，api操作上仍旧是sql.
存储之大、ACID、历史回放、文件合并、无服务(对比Hive metastore)，都算数据湖方案的特性。也都是数据仓库的痛点
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3 Delta Lake基本功能

数据集 https://www.kaggle.com/wendykan/lending-club-loan-data/data,
loans.csv: 145Cols, 1.11GB unzipped

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

4 使用Delta Lake 构建分析管道

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5 Delta Lake 高级功能

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

QA

    1. 数据湖底层存储的方式是怎样的？

底层存储的其实就是数据文件（列式/压缩格式自行选择）,存储在哪自行选择，可hdfs/s3/local

    1. 这种方式属于单表点对点的采集，多表同时采集，是否消费kafka多次？

如果是多表的话，需要在 kafka 内建多个 topic

    1. 那如果源端MySQL是做的DDL alter rename column岂不是会将schema污染？

delta lake 有 schema 更新的功能，但是 schema 更新目前还不支持 rename column。而且，目前这套基于 binlog 的方案也不支持将上游的 rename column 反应到 delta lake 中。

    1. delta lake如何保障事务一致性这块能细说一下吗

事务一致性是说数据库中表内的数据满足一定的约束条件，这块内容属于 OLTP 的范畴，delta 并不支持。delta 支持的事务是说保证并发事务之间不相互污染。说的一致性是不是分布式存储的一致性？如果是这个的话，是靠底层存储（HDFS，OSS）等来保证的，这两个一致性的含义不一样。

    1. 上下游删除更新数据，delta lake 怎么保证

上游删除数据，删除数据的动作会被传递到 delta lake 中，delta lake 会同步删除数据。但是以 delta lake 为数据源的 streaming 作业，并不能处理该删除数据的动作，因为删除之前的数据已经被 streaming 处理过了。对于这种情况，以 delta lake 为数据源的 streaming 作业会抛异常。如果要 streaming 作业不抛异常，可以设置忽略 delta lake 中的 delete 事件

    1. deltaLake是怎么处理并发读写的问题的？

delta lake 有乐观机制的事务保证，读事务和写事务之间不存在冲突。写写之间可能会有冲突。这个时候先提交的事务会成功，另外一个失败

    1. 这个delta lake是要在在这些小文件流批处理场景下替代hive吗？

hive 对流不怎么支持，小文件，如果用 hive 事务功能的话，也会有小文件，但是 delta 的小文件更多的是流产生的，量要比 hive 大。你说在这个场景下替代 hive，我觉着这个说法不太准确。delta 的卖点是对湖中的数据做好管理，支持流批一体。与 hive 还是有区别的。当然 delta 可以代替 hive，反之不行。

    1. Delta Lake 是阿里开发的还是开源的 可以读取mysql 数据源写入到阿里的dataworks吗？

开源的。读取数据库的 binlog，写入到 delta lake

    1. delta lake的输出和普通parquet输出目录会多metastote，log灯信息，那么这个输入spark.read.parquet（）也可以直接处理吧，需要有什么注意的地方吗？

spark.read.format(“delta”), 不能直接 spark.read.format(“parquet”), 虽然底层是 parquet 文件，但是是两种 datasource。delta 维护了历史版本，因此数据目录下会有多个版本的 parquet 文件。如果把它当成 parquet 直接读的话，数据就不准确了

标签
#数据仓库 #hive #hadoop
原文链接：https://www.cnblogs.com/Do-n/p/13580313.html>
Delta Lake 解析：架构、数据处理流程与最佳实践 Delta Lake 是一个基于 Apache Spark 的开源存储层，主要解决传统数据湖（Data Lake）缺乏 ACID 事务、数据一致性和性能优化的问题，使大数据处理更加可靠、高效。如果你的业务需要处理海量数据，并且希望兼顾数据一致性和查询性能，Delta Lake 是一个值得考虑的技术选择。，比如 Kafka 事件流、IoT 设备数据、交易日志等，基本不会进行任何数据清理，主要目的是。，主要处理数据去重、格式转换、标准化等问题，使数据更加结构化，便于查询和分析。数据建模方式，将数据拆分为。 阅读详情

相关推荐

Delta Lake调研：Delta Lake使用案例

Delta Lake是一个基于云对象存储的表存储工具，它实现了lakehouse的构想。Delta Lake可以解决工业领域数据产生，获取，分析等涵盖企业数据分析场景下，数据生命周期内的所有问题，因而有着广阔的使用前景。 上一篇博客Delta Lake调研：Delta Lake是什么【2】Lakehouse和data warehouse、data lake的区别中，介绍了数据存储工具随需求变化的变化，其中涉及到DataBase、DataWarehouse、DataLake以及Lakehouse的区别与..

kullollo的博客 1294

Delta Lake 是什么？

Delta Lake 是一个开源项目，它可以运行在你现有的数据湖之上，可以在数据湖上构建湖仓一体架构，并且与 Apache Spark API 完全兼容。

Shockang的博客 4763

Delta Lake如何使用

通过上述步骤，你可以在 Java 项目中使用 Delta Lake 来管理和分析数据。Delta Lake 提供的 ACID 事务、时间旅行等特性使得数据管理更加高效和可靠。

Casual_Lei的博客 1519

揭秘 Delta Lake：打造高效湖仓一体架构的底层技术

DeltaLake是一款开源数据湖存储框架，通过ACID事务、版本控制和湖仓一体架构解决数据湖管理痛点。本文详解其核心概念、发展历程、架构原理（基于Parquet文件和事务日志）、五大适用场景（湖仓一体、流批统一等），并与Hudi/Iceberg进行技术对比。DeltaLake在Spark生态中表现突出，提供创建/读写、时间旅行、DML操作等完整功能，其ACID事务、Schema管理和性能优化使其成为现代数据平台的首选方案。文章包含Spark实战代码示例，帮助开发者快速构建高效可靠的数据湖架构。

数据与算法架构提升之路专栏 1666

Delta Lake源码分析

Delta Lake源码分析 Delta Lake元数据 delta lake 包含Protocol、Metadata、FileAction(AddFile、RemoveFile)、CommitInfo和SetTransaction这几种元数据action。 Protocol：这是delta lake自身的版本管理，一般只出现在第一次的commit日志里（之后版本升级应该也会有）； Met...

e61015656pub的博客 504

Hyperspace初体验：Delta Lake表索引

Hyperspace初体验：Delta Lake表索引 1.简介 Hyperspace是一个由微软开发的开源的数据湖索引子系统。 1.1 特性 提供了一套定义完好的索引管理API （4.1 建索引, 5.2 增量刷新） 为用户提供更大的自由度，毕竟用户是最了解自己用例的人 不尝试去解决所有问题，有些问题没有固定答案 独立于数据和元数据，索引有自己的元数据/日志（4.2 Hyperspace日志） 能感知到底层数据的版本，同数据一起“时间旅行” （5.1 Time Travel支持） 因为

西代零零发 1579

这可能是学习 Spark Delta Lake 最全的资料

Delta Lake是一个存储层，为 ApacheSpark和大数据 workloads 提供 ACID 事务能力，其通过写和快照隔离之间的乐观并发控制（optim...

Hadoop技术博文 2568

Delta Lake与实时计算(19)

Delta Lake与实时计算 前面我们已经花了大量的篇幅在介绍Delta Lake，而且我们介绍了多种场景中去使用Delta Lake，你可以参考下面的文章 Spark SQL Scala版 使用 Delta Lake Spark SQL Shell 版 使用Delta Lake Spark SQL SQL 版 使用 Delta Lake Spark SQL Python版 使用 Delta Lake Spark Streaming 使用 Delta Lake 今天我们来看一下Delta Lake 对

6万+

Delta Lake Native Rust Library 教程

--- ## 项目介绍 **Delta Lake Native Rust Library**（[delta-rs](https://github.com/delta-io/delta-rs)）是一个原生的Rust库，用于实现Delta Lake协议，同时提供了Python绑定。这个项目让开发者能够在不需要依赖Java或Apache Spark的情况下，在Rust或其他原生项目中使用Delta ...

gitblog_00312的博客 908

Delta Lake 版本管理(13)

Delta Lake 版本管理 前面我们在学习Delta Lake 时间旅行的时候已经提到过这个版本管理了，但是我们没有深入探究，其实版本管理这个概念并不陌生，我们知道我们用的git 就是一个开源的分布式版本控制系统,还有就是我们的业务系统数据库也经常做按照时间的快照备份，其实这也是版本的一种。 Delta Lake 版本管理与时间旅行 Delta Lake 版本管理的原理也是Delta Lake 实现时间旅行的原因，Delta Lake 的时间旅行，其实就是版本切换，不同的是它不光提供了根据版本号切换的功

7万+

Spark SQL Scala版 使用 Delta Lake(04)

Spark SQL 使用 Delta Lake 前面我们介绍过了 Delta Lake可以解决我们数据更新和小文件合并的问题，我们知道数据湖三驾马车的特性如下： Iceberg 的设计初衷更倾向于定义一个标准、开放且通用的数据组织格式，同时屏蔽底层数据存储格式上的差异，向上提供统一的操作 API，使得不同的引擎可以通过其提供的 API 接入； Hudi 的设计初衷更像是为了解决流式数据的快速落地，并能够通过 upsert 语义进行延迟数据修正； Delta Lake 作为 Databricks 开源的项目

7万+

Delta Lake DeltaTable

Spark Scala Shell Download the compatible version of Apache Spark by following instructions from Downloading Spark, either using pip or by downloading and extracting the archive and running spark-shell in the extracted directory. spark-shell --packages

lucklilili 1879

Understand-Anything：AI驱动的代码知识图谱，实现项目全局洞察与高效导航

在软件开发中，理解复杂代码库的结构和依赖关系是提升开发效率的关键。传统代码阅读方式往往陷入局部视角，难以快速把握系统全貌。知识图谱技术通过将代码实体（如文件、类、函数）及其关系（调用、继承、依赖）可视化，为代码理解提供了全局视角。这项技术的核心价值在于将静态代码转化为动态、可交互的认知地图，极大降低了系统学习与维护成本。在实际工程中，它广泛应用于新成员快速入职、遗留系统梳理、架构影响分析等场景。本文介绍的Understand-Anything工具，正是基于这一理念，通过多智能体分析管道，自动构建代码的结构图

weixin_42615290的博客 879

数据湖详解 — Delta Lake

Delta Lake 是 DataBricks 公司开源的、用于构建湖仓架构的存储框架。能够支持 Spark，Flink，Hive，PrestoDB，Trino 等查询/计算引擎。作为一个开放格式的存储层，它在提供了批流一体的同时，为湖仓架构提供可靠的，安全的，高性能的保证。

数据库技术 3284

matlab电容式传感器仿真,差动电容式位移传感器的仿真研究

设计了一种差动电容式位移传感器,主要对传感器的数学模型及电容检测电路进行了仿真研究。其中检测电路设计主要包括正弦激励电路、转换桥路、信号放大电路、精密整流电路和滤波电路。最后利用Matlab／SimurFnk软件对所设计的系统进行仿真,并分析了传感器性能。仿真研究表明,传感器及其检测电路具有合理性,测量范围内具有很好的线性度。0|| I≯ lat on ii{差动容尊翩’亘研发注：湖南省教育厅资...

weixin_36323601的博客 1389

Gazebo仿真环境下的强化学习实现

实际上利用Gazebo进行强化学习无非是环境获取上的不同，Gazebo的环境控制需要使用ROS服务进行控制，状态可以通过Gazebo进行获取，同时某些必要数据需要从话题中获取，最重要的是组织获取 的数据（通过话题等）与控制Gazebo的仿真步骤之间的组合。强化学习的手段与传统算法无异，强化学习方法最重要的是要确定动作空间、状态空间、奖励空间，这三个空间是work的前提。在笔者自己的环境中，将获取里程计的话题以及获取激光点的数据替换成为了自己的本机的仿真环境匹配的话题。

Moresweet 猫甜 6446

使用 SQL 操作 Delta Lake

Delta Lake 0.7.0 是随着 Apache Spark 3.0 版本发布之后发布的，这个版本比较重要的特性就是支持使用 SQL 来操作 Delta 表，包括 DDL 和 DM...

过往记忆大数据 1977

LTE信令流程实战：从Attach到Service Request的完整解析（附常见问题排查）

本文深入解析LTE信令流程中的Attach和Service Request关键环节，提供从基础原理到实战排查的完整指南。涵盖鉴权、承载建立等核心步骤，分析常见故障模式及优化方案，并附赠信令跟踪工具使用技巧，助力通信工程师提升网络运维效率。

alpha的博客 315

数据湖之Delta Lake

Delta Lake 是一种开源的存储层技术，构建在 Apache Spark 的基础之上，旨在解决传统数据湖的可靠性、性能和数据一致性问题。它通过引入 ACID 事务、数据版本控制、时间旅行和统一的批处理与流处理等特性，显著提升了数据湖的可用性和数据管理能力。Delta Lake 由 Databricks 推出，现已成为现代数据湖架构的核心组件。

youziguo的专栏 2828

【RT-DETR涨点改进】全网独家创新、细节涨点改进篇 | AAAI 2025 | 将 CEM 颜色增强模块引入RT-DETR ，目标检测不再惧怕雾天和低光检测、小目标检测、遥感目标检测高效涨点

本文提出了一种新型结构引导去雾网络（SGDN），通过双色引导桥（BGB）和色彩增强模块（CEM）有效解决雾霾图像去雾问题。BGB利用YCbCr空间的纹理特征引导RGB特征恢复，CEM通过聚合YCbCr通道信息增强RGB色彩感知。实验证明该方法在真实雾霾数据集上优于现有技术，能同时保持色彩准确性和纹理清晰度。文章还提供了完整的代码实现和模型配置指南，包括三种改进版RT-DETR网络结构（rtdetr-l/r18/r50-CEM.yaml），为图像去雾和目标检测任务提供了实用解决方案。

Ai缝合怪、助力小伙伴高效发论文 351

Python之afdx包语法、参数和实际应用案例

Python 的 afdx 包是针对 AFDX 协议的轻量级开发工具，专注于 AFDX 数据帧的解析、构造、发送/接收、协议合规性校验等核心能力，广泛应用于航空电子设备测试、仿真、数据监控等场景。

王国平的博客 982

Delta Lake项目迁移指南：从传统数据源到Delta Lake的平滑过渡

Delta Lake项目迁移指南：从传统数据源到Delta Lake的平滑过渡 【免费下载链接】delta An open-source storage framework that enables building a Lakehouse architecture with compute engines includ...

gitblog_00600的博客 446

一文吃透 ABAP CDS SELECT：语法全景、关联与去重、可运行示例与实战心法

摘要： 本文深入解析ABAP中CDS视图的SELECT语法，重点介绍两种等价写法、关联与路径表达式优化、DISTINCT去重逻辑及WHERE/GROUP BY/HAVING/UNION等子句的应用。通过可运行的业务伙伴角色去重、关联路径查询及多角色筛选示例，演示如何将CDS特性转化为项目实践。强调关联复用性优于传统JOIN，并指出DISTINCT的权限边界与误用场景，帮助开发者从行式思维转向图式数据建模。（150字） 关键词： ABAP CDS、SELECT语法、路径表达式、DISTINCT去重、关联复用

2007 年 ~ 2025 年，深耕 SAP 技术 18 年 388

Delta Lake 学习笔记（三）

文章目录1 Overview2 QucikStart 走读2.1 Set up Apache Spark with Delta Lake2.2 Create a table2.3 Update the table data2.4 Read data2.5 Read older versions of data using Time Travel2.6 Write a stream of data ...

runzhliu大数据/容器日记 3207

从零搭建：C#+YOLOv8质检系统（从相机选型到上位机部署，附完整开发流程与源码）

后来换成45°斜射的条形光源，光线从侧面打在引脚上，弯曲处会形成暗区，缺陷边缘立刻清晰——光源预算别省，我这套光源+支架才600块，比换相机划算多了。前阵子帮一家电子厂做连接器引脚缺陷检测，他们原来靠2个师傅用放大镜看，每天8小时最多检5000个，0.2mm的针脚弯曲还经常漏检，不良品流到客户那里，单月罚款就超5万。做质检第一步不是挑设备，是先明确“要检测多大的缺陷”——比如我要检的连接器引脚，直径0.5mm，允许的最大弯曲是0.2mm，这直接决定相机分辨率。，后面C#就用这个模型推理。

这里只有干货：从 Modbus 通信到 MES 对接，从 YOLO 训练到工控机部署，带你搞定工业软件开发全流程。 1266

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android：LinePhone3.2.7(最新版本)，官网地址：http://www.linphone.org/
上一篇： Spark性能优化——数据倾斜-groupByKey导致内存溢出
下一篇： Nelder Mead SIMPLEX Algorithm
点赞 0
评论 0
书签 书签 2
Accelerating
Accelerating
博客等级 码龄9年 3220粉丝 28原创
+ 关注
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值