
Delta
过往记忆
这个作者很懒,什么都没留下…
展开
-
深入理解 Apache Spark Delta Lake 的事务日志
事务日志是理解Delta Lake的关键,因为它是贯穿许多最重要功能的通用模块,包括 ACID 事务、可扩展的元数据处理、时间旅行(time travel)等。本文我们将探讨事务日志(Transaction Log)是什么,它在文件级别是如何工作的,以及它如何为多个并发读取和写入问题提供优雅的解决方案。事务日志(Transaction Log)是什么Delta Lake事务日志(也称...原创 2019-09-27 10:15:44 · 559 阅读 · 0 评论 -
云栖大会 | Apache Spark 3.0 和 Koalas 最新进展
本资料来自2019-09-26在杭州举办的云栖大会的大数据 & AI 峰会分会。议题名称《New Developments in the Open Source Ecosystem: ApacheSpark3.0 and Koalas》,分享嘉宾李潇,DatabricksSpark研发总监。本次会议的完整视频和 PPT 请关注 过往记忆大数据 公众号并回复 spark_yq 获...原创 2019-10-08 17:04:21 · 941 阅读 · 0 评论