【spark系列4】spark 3.0.1集成delta 0.7.0原理解析--delta自定义sql

Databricks建表本质:Delta Lake、Unity Catalog与三层架构协同原理 在湖仓一体架构中,'建表'并非简单语法操作,而是存储层(云对象存储)、元数据层(Unity Catalog)与计算层(Spark SQL)的协同过程。其核心依赖 Delta Lake 的事务日志协议——通过 _delta_log/ 下的 JSON 日志实现 ACID、时间旅行与并发控制;而 Unity Catalog 不仅管理表的逻辑定义,更强制校验底层 Delta 路径有效性,杜绝元数据与文件状态不一致。这一机制决定了 Databricks 表的本质是‘可治理的日志引用’,而非静态文件映射。典型应用场景包 阅读详情

前提

本文基于 spark 3.0.1
delta 0.7.0
我们都知道delta.io是一个给数据湖提供可靠性的开源存储层的软件,关于他的用处,可以参考Delta Lake,让你从复杂的Lambda架构中解放出来,于此类似的产品有hudi,Iceberg,因为delta无缝集成spark,所以我们来分析一下delta集成spark的内部原理以及框架,对于spark 3.x 与delta的集成是分两部分的,一部分是delta自定义的sql语法,另一部分是基于Catalog plugin API的DDL DML sql操作(spark 3.x以前是不支持的)
我们今天先分析第一部分 delta自定义的sql语法

自定义的DeltaDataSource

我们在用delta的时候,得指定delta特定的格式,如下:

val data = spark.range(5, 10)
data.write.format("delta").mode("overwrite").save("/tmp/delta-table")
df.show()

那这个delta datasource是怎么集成到spark呢?我们来分析一下:
直接到DataStreamWriter,如下:

 val cls = DataSource.lookupDataSource(source, df.sparkSession.sessionState.conf)
      val disabledSources = df.sparkSession.sqlContext.conf.disabledV2StreamingWriters.split(",")
      val useV1Source = disabledSources.contains(cls.getCanonicalName) ||
        // file source v2 does not support streaming yet.
        classOf[FileDataSourceV2].isAssignableFrom(cls)

DataSource.lookupDataSource 方法是关键点。如下:

def lookupDataSource(provider: String, conf: SQLConf): Class[_] = {
    val provider1 = backwardCompatibilityMap.getOrElse(provider, provider) match {
      case name if name.equalsIgnoreCase("orc") &&
          conf.getConf(SQLConf.ORC_IMPLEMENTATION) == "native" =>
        classOf[OrcDataSourceV2].getCanonicalName
      case name if name.equalsIgnoreCase("orc") &&
          conf.getConf(SQLConf.ORC_IMPLEMENTATION) == "hive" =>
        "org.apache.spark.sql.hive.orc.OrcFileFormat"
      case "com.databricks.spark.avro" if conf.replaceDatabricksSparkAvroEnabled =>
        "org.apache.spark.sql.avro.AvroFileFormat"
      case name => name
    }
    val provider2 = s"$provider1.DefaultSource"
    val loader = Utils.getContextOrSparkClassLoader
    val serviceLoader = ServiceLoader.load(classOf[DataSourceRegister], loader)

这里用到了ServiceLoader.load的方法,该是java的SPI,具体的细节可以网上查阅,我们说重点
直接找到ServiceLoader.LazyIterator部分

private class LazyIterator
        implements Iterator<S>
    {

        Class<S> service;
        ClassLoader loader;
        Enumeration<URL> configs = null;
        Iterator<String> pending = null;
        String nextName = null;

        private LazyIterator(Class<S> service, ClassLoader loader) {
            this.service = service;
            this.loader = loader;
        }

        private boolean hasNextService() {
            if (nextName != null) {
                return true;
            }
            if (configs == null) {
                try {
                    String fullName = PREFIX + service.getName();
                    if (loader == null)
                        configs = ClassLoader.getSystemResources(fullName);
                    else
                        configs = loader.getResources(fullName);
                } catch (IOException x) {
                    fail(service, "Error locating configuration files", x);
                }
            }

其中的loader.getResources方法,就是查找classpath下的特定文件,如果有多个就会返回多个,
对于spark来说,查找的是class DataSourceRegister,也就是META-INF/services/org.apache.spark.sql.sources.DataSourceRegister文件,实际上spark内部的datasource的实现,通过通过这种方式加载进来的

我们查看一下delta的META-INF/services/org.apache.spark.sql.sources.DataSourceRegister文件为org.apache.spark.sql.delta.sources.DeltaDataSource,注意DeltaDatasource是基于Datasource v1进行开发的,
至此我们就知道了delta datasource和spark结合的大前提的实现

分析

我们从delta的configurate sparksession入手,如下:

import org.apache.spark.sql.SparkSession

val spark = SparkSession
  .builder()
  .appName("...")
  .master("...")
  .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension")
  .config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog")
  .getOrCreate()

我们可以看到 config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension")
从spark configuration,我们可以看到对该spark.sql.extensions的解释是

A comma-separated list of classes that implement Function1[SparkSessionExtensions, Unit] used to configure Spark Session extensions. The classes must have a no-args constructor. If multiple extensions are specified, they are applied in the specified order. For the case of rules and planner strategies, they are applied in the specified order. For the case of parsers, the last parser is used and each parser can delegate to its predecessor. For the case of function name conflicts, the last registered function name is used.

一句话就是用来对sparksession的扩展,可以对spark sql的逻辑计划进行扩展,且这个功能从spark 2.2.0就有了
看一下io.delta.sql.DeltaSparkSessionExtension类

class DeltaSparkSessionExtension extends (SparkSessionExtensions => Unit) {
  override def apply(extensions: SparkSessionExtensions): Unit = {
    extensions.injectParser { (session, parser) =>
      new DeltaSqlParser(parser)
    }
    extensions.injectResolutionRule { session =>
      new DeltaAnalysis(session, session.sessionState.conf)
    }
    extensions.injectCheckRule { session =>
      new DeltaUnsupportedOperationsCheck(session)
    }
    extensions.injectPostHocResolutionRule { session =>
      new PreprocessTableUpdate(session.sessionState.conf)
    }
    extensions.injectPostHocResolutionRule { session =>
      new PreprocessTableMerge(session.sessionState.conf)
    }
    extensions.injectPostHocResolutionRule { session =>
      new PreprocessTableDelete(session.sessionState.conf)
    }
  }
}

DeltaSqlParser class就是delta对于自身语法的支持,那到底怎么支持以及支持什么呢?
我们看一下extensions.injectParser代码

 private[this] val parserBuilders = mutable.Buffer.empty[ParserBuilder]

  private[sql] def buildParser(
      session: SparkSession,
      initial: ParserInterface): ParserInterface = {
    parserBuilders.foldLeft(initial) { (parser, builder) =>
      builder(session, parser)
    }
  }

  /**
   * Inject a custom parser into the [[SparkSession]]. Note that the builder is passed a session
   * and an initial parser. The latter allows for a user to create a partial parser and to delegate
   * to the underlying parser for completeness. If a user injects more parsers, then the parsers
   * are stacked on top of each other.
   */
  def injectParser(builder: ParserBuilder): Unit = {
    parserBuilders += builder
  }

我们看到buildParser方法对我们传入的DeltaSqlParser进行了方法的初始化,也就是说DeltaSqlParser 的delegate变量被赋值为initial,
而该buildParser方法 被BaseSessionStateBuilder调用:

 /**
   * Parser that extracts expressions, plans, table identifiers etc. from SQL texts.
   *
   * Note: this depends on the `conf` field.
   */
  protected lazy val sqlParser: ParserInterface = {
    extensions.buildParser(session, new SparkSqlParser(conf))
  }

所以说initial的实参是SparkSqlParser,也就是SparkSqlParser成了DeltaSqlParser代理,我们再看看DeltaSqlParser的方法:

override def parsePlan(sqlText: String): LogicalPlan = parse(sqlText) { parser =>
    builder.visit(parser.singleStatement()) match {
      case plan: LogicalPlan => plan
      case _ => delegate.parsePlan(sqlText)
    }
  }

这里涉及到了antlr4的语法,也就是说对于逻辑计划的解析,如自身DeltaSqlParser能够解析,就进行解析,不能的话就委托给SparkSqlParser进行解析,而解析是该类DeltaSqlAstBuilder的功能:

class DeltaSqlAstBuilder extends DeltaSqlBaseBaseVisitor[AnyRef] {

  /**
   * Create a [[VacuumTableCommand]] logical plan. Example SQL:
   * {{{
   *   VACUUM ('/path/to/dir' | delta.`/path/to/dir`) [RETAIN number HOURS] [DRY RUN];
   * }}}
   */
  override def visitVacuumTable(ctx: VacuumTableContext): AnyRef = withOrigin(ctx) {
    VacuumTableCommand(
      Option(ctx.path).map(string),
      Option(ctx.table).map(visitTableIdentifier),
      Option(ctx.number).map(_.getText.toDouble),
      ctx.RUN != null)
  }

  override def visitDescribeDeltaDetail(
      ctx: DescribeDeltaDetailContext): LogicalPlan = withOrigin(ctx) {
    DescribeDeltaDetailCommand(
      Option(ctx.path).map(string),
      Option(ctx.table).map(visitTableIdentifier))
  }

  override def visitDescribeDeltaHistory(
      ctx: DescribeDeltaHistoryContext): LogicalPlan = withOrigin(ctx) {
    DescribeDeltaHistoryCommand(
      Option(ctx.path).map(string),
      Option(ctx.table).map(visitTableIdentifier),
      Option(ctx.limit).map(_.getText.toInt))
  }

  override def visitGenerate(ctx: GenerateContext): LogicalPlan = withOrigin(ctx) {
    DeltaGenerateCommand(
      modeName = ctx.modeName.getText,
      tableId = visitTableIdentifier(ctx.table))
  }

  override def visitConvert(ctx: ConvertContext): LogicalPlan = withOrigin(ctx) {
    ConvertToDeltaCommand(
      visitTableIdentifier(ctx.table),
      Option(ctx.colTypeList).map(colTypeList => StructType(visitColTypeList(colTypeList))),
      None)
  }

  override def visitSingleStatement(ctx: SingleStatementContext): LogicalPlan = withOrigin(ctx) {
    visit(ctx.statement).asInstanceOf[LogicalPlan]
  }

  protected def visitTableIdentifier(ctx: QualifiedNameContext): TableIdentifier = withOrigin(ctx) {
    ctx.identifier.asScala match {
      case Seq(tbl) => TableIdentifier(tbl.getText)
      case Seq(db, tbl) => TableIdentifier(tbl.getText, Some(db.getText))
      case _ => throw new ParseException(s"Illegal table name ${ctx.getText}", ctx)
    }
  }

  override def visitPassThrough(ctx: PassThroughContext): LogicalPlan = null
}

那这些方法比如visitVacuumTable,visitDescribeDeltaDetail是从哪里来的呢?
咱们看看DeltaSqlBase.g4:

singleStatement
    : statement EOF
    ;

// If you add keywords here that should not be reserved, add them to 'nonReserved' list.
statement
    : VACUUM (path=STRING | table=qualifiedName)
        (RETAIN number HOURS)? (DRY RUN)?                               #vacuumTable
    | (DESC | DESCRIBE) DETAIL (path=STRING | table=qualifiedName)      #describeDeltaDetail
    | GENERATE modeName=identifier FOR TABLE table=qualifiedName        #generate
    | (DESC | DESCRIBE) HISTORY (path=STRING | table=qualifiedName)
        (LIMIT limit=INTEGER_VALUE)?                                    #describeDeltaHistory
    | CONVERT TO DELTA table=qualifiedName
        (PARTITIONED BY '(' colTypeList ')')?                           #convert
    | .*?                                                               #passThrough
    ;

这里涉及到的antlr4语法,不会的可以自行网上查阅。注意一下spark 和delta用到的都是visit的模式。
再来对于一下delta官网提供的操作 :

Vacuum
Describe History
Describe Detail
Generate
Convert to Delta
Convert Delta table to a Parquet table

这样就能对应上了,如Vacuum操作对应vacuumTable,Convert to Delta对应 convert.

其实delta支持拓展了spark,我们也可按照delta的方式,对spark进行扩展,从而实现自己的sql语法

Delta Lake 事务日志实践(11) Delta Lake 事务日志实践 读者交流群已经开通了,有需要的可以私信进入读者交流群 前面我们介绍了Delta Lake 事务日志,具体你可以参考Delta Lake 事务日志,今天我们就借助实际操作,来看一下Delta Lake 事务日志,这里我们使用scala api 来操作 环境准备 scala 版本 2.12.10 spark 版本 3.1.2 启动命令: spark-shell --packages io.delta:delta-core_2.12:1.0.0 --conf "spark 阅读详情

相关推荐

基于Spark SQL的OLAP分析实战

本文以Spark SQL为核心,系统解析其在OLAP场景中的实战应用。内容覆盖从概念基础到高级部署的全链路,结合理论推导(如Catalyst优化器原理)、架构设计(如查询执行流水线)、实现细节(如向量化执行)及生产实践(如数据倾斜处理)。通过多层次解释(专家级数学形式化→中级架构设计→入门级类比模型),帮助读者掌握Spark SQL OLAP的核心能力,并提供可落地的优化策略与企业级部署建议。查询性能:如何在TB级数据上实现秒级响应?资源效率:如何平衡计算资源(CPU/内存)与查询复杂度?扩展性。

2501_92132293的博客 185

【spark系列5】spark 3.0.1集成delta 0.7.0原理解析--delta如何进行DDL DML操作以及Catalog plugin API

前提 本文基于 spark 3.0.1 delta 0.7.0 我们都知道delta.io是一个给数据湖提供可靠性的开源存储层的软件,关于他的用处,可以参考Delta Lake,让你从复杂的Lambda架构中解放出来,上篇文章我们分析了delta是如何自定义自己的sql,这篇文章我们分析一下delta数据是如何基于Catalog plugin API进行DDL DML sql操作的(spark 3.x以前是不支持的) 分析 delta在0.7.0以前是不能够进行save表操作的,只能存储到文件中,也就是说他

monkeyboy_tech的博客 2744

RTAB-map:实时高效的SLAM库

Real‐time appearance‐based mapping (RTAB‐Map)是一种基于外观的闭环检测方法,具有良好的内存管理,以满足处理大场景和在线长周期管理要求。RTAB‐Map集成了视觉和激光雷达SLAM方案,并支持目前绝大多数的传感器 是一个强大的、开源的Simultaneous Localization and Mapping(SLAM)库,专为机器人和无人驾驶领域设计。它提供了一套完整的解决方案,用于构建三维地图,并在未知环境中进行实时定位与导航。 github项目地址 RTAB-

weixin_45761399的博客 1万+

基于MinIO/Deleta Lake/Dremio和Superset或Metabase搭建简单的数据湖

前言 基础环境 Docker Docker: 20.10.10 访问地址 Portainer 地址:http://10.0.0.198:9999/#!/home 用户名/密码 admin/ admin123 MinIO 地址: http://10.0.0.198:9009/dashboard 用户名/密码 minio/minio123 Spark 地址: http://10.0.0.198 Dremio 地址: http://10.0.0.198:90...

琦彦 4733

数据仓库ODS层详解- 功能、设计与最佳实践

数据仓库ODS层是大数据分析的基石,为企业决策提供可靠数据源。本文深入探讨ODS层设计原则、实施要点和最佳实践,涵盖金融、零售等行业应用。重点关注云环境下ODS层部署策略,以及实时数据集成、数据湖技术等创新趋势。文章还分析了数据体量增长、实时性需求等挑战,提供实用解决方案。whether助您构建高效、安全、可扩展的ODS层,为数字化转型奠定坚实基础。#数据仓库 #ODS层 #大数据分析 #云计算 #数据湖

一个8年大数据开发工程师的碎碎念 1万+

从零到一:STM32G431的DSP库集成与FFT实战避坑指南

本文详细介绍了在STM32G431微控制器上集成CMSIS-DSP库并进行FFT实战开发的完整流程。重点解析了通过CubeMX和Keil环境配置DSP库的关键步骤、编译器宏定义陷阱及解决方案,并提供了FFT算法优化、内存管理及常见问题诊断的实用技巧,帮助开发者高效实现嵌入式信号处理应用。

oauth7security的博客 771

【spark系列7】spark delta写操作ACID事务实现分析

背景 本文基于delta 0.7.0 spark 3.0.1 我们之前的spark delta写操作ACID事务前传–写文件基础类FileFormat/FileCommitProtocol分析分析了delta写数据的流程,但是还没分析deltalog 写数据的流程,这部分也是实现ACID的核心部分。 ##分析 直接到WriteIntoDelta.run override def run(sparkSession: SparkSession): Seq[Row] = { deltaLog.withNe

monkeyboy_tech的博客 982

OpenMontage:AI代理驱动的端到端视频生产系统实战指南

在当今内容创作领域,自动化视频生成技术正成为提升生产效率的关键。其核心原理在于通过智能体(Agent)架构,将复杂的视频制作流程拆解为可被AI理解和执行的标准化任务,从而实现从创意到成片的端到端自动化。这项技术的核心价值在于大幅降低了专业视频制作的门槛,使非专业用户也能快速产出具有一定专业度的内容。其典型应用场景包括社交媒体短片、产品演示、知识科普视频的批量生产。OpenMontage正是这一技术理念的杰出实践,它构建了一个完整的代理驱动视频生产系统,将AI编码助手转变为能自主规划并执行脚本撰写、素材检索、

weixin_35757191的博客 650

Delta Lake 基础操作篇

我们在使用写 Delta 数据是非常简单的,这也是 Delte Lake 介绍的 100% 兼容 Spark。Delta Lake 写数据是其最基本的功能,而且其使用和现有的 Spark 写 Parquet 文件基本一致,只不过换做成format("delta")。在介绍 Delta Lake 实现原理之前先来看看如何使用它,使用如下: 我的Spark版本是:3.1.1 如果需要使用Delta,我们在启动spark-shell 新增 --packages参数即可 ./spark-shell -

lucklilili 2044

如何加载交易策略EA到MT4/MT5

1、打开MT4/MT5软件 2、首先,必须有一个EA,而且必须是mq4/ex4为扩展名。点击左上角“文件”—“打开数据文件夹”,找到安装路径 3、将EA的ex4或mq4文件放到MT4目录\MQL4\Experts里面(本文以名为Demo的EA为例) 4、如果有DLL库文件,复制到experts目录下的libraries子目录中 5、如果有tpl模板文件,复制到templates目录中 6、添加完成后重启MT4,点击允许EA运行图标 7、在导航中找到刚才安装的EA,拖拽到...

weixin_41364817的博客 7366

RV1126平台librga图像旋转裁剪实战

本文详细介绍了在rv1126平台上使用librga库实现图像旋转和裁剪的方法。首先解释了librga的基本概念和关键对象,包括源图像、目标图像和操作参数。随后分步骤说明了初始化设置、缓冲区创建、裁剪区域定义(通过坐标和尺寸参数)以及旋转操作(支持常见角度)。提供了完整的示例代码演示如何组合裁剪和旋转操作,并强调了性能优化、错误处理、格式支持等注意事项。通过硬件加速的librga,可以在rv1126平台上高效完成图像处理任务。

hwmxrhx的博客 1547

支持delete吗_Spark Delta Lake 0.4.0 发布,支持 Python API 和部分 SQL

Apache Spark发布了 Delta Lake 0.4.0,主要支持 DML 的 Python API、将 Parquet 表转换成 Delta Lake 表 以及部分 SQL 功能。下面详细地介绍这些功能部分功能的 SQL 支持SQL 的支持能够为用户提供极大的便利,如果大家去看数砖的 Delta Lake 产品,你肯定已经看到它已经支持了 SQL 语法。但是开源的 Delt...

weixin_39986973的博客 224

Manus创始人深度复盘:AI Agent产品的技术架构与战略转型

成本对比:同样任务处理,中国区单位成本是亚太区的2.3倍。付费转化率:中国区1.2% vs 全球平均4.7%微信/支付宝等超级App的适配代码占比达17%Zstandard:压缩比38%,耗时12ms。每季度需要投入3名高级工程师专职维护兼容性。国际版API平均延迟:180-220ms。中国版特殊部署延迟:480-720ms。信息保持准确率:93%(7天跨度测试)自研算法:压缩比39%,耗时5ms。存储效率:相比纯文本节省68%空间。:本地化部署导致的延迟与费用差异。LZ4:压缩比42%,耗时8ms。

m0_75253143的博客 7148

这可能是学习 Spark Delta Lake 最全的资料

Delta Lake是一个存储层,为 ApacheSpark和大数据 workloads 提供 ACID 事务能力,其通过写和快照隔离之间的乐观并发控制(optim...

Hadoop技术博文 2571

【FPGA教程案例96】控制案例1——基于FPGA的自适应PID控制器verilog实现

首先,我们复习下课程传统的PID控制器,往往存在调整速度较慢,超调过大等缺点。为了解决这个问题,在实际的PID应用中,需要实时的调整PID的控制参数,以达到加快PID控制速度,降低超调等目标。目前,自适应PID控制器,一般有误差反馈调整,模糊控制器调整,神经网络调整。其中模糊控制器调整,神经网络调整较为复杂,在入门案例中不做介绍,在本课程中,我们将实现相对略微简单点的基于误差反馈调整的自适应PID控制器。

FPGA/MATLAB学习教程/源码/项目合作开发 6207

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

Delta Lake删除向量:细粒度变更的元数据加速原理

Delta Lake作为开源数据湖表格式,其ACID事务与时间旅行能力依赖Parquet文件重写机制,导致DELETE/UPDATE操作面临高延迟与小文件泛滥问题。删除向量(Deletion Vectors)通过在Parquet文件头嵌入轻量级位图元数据,实现逻辑删除而非物理重写,本质是将行级过滤下推至存储层。该技术显著降低I/O放大、提升吞吐并兼容现有SQL语义,尤其适用于电商订单状态更新、金融反洗钱标记等稀疏变更场景。作为Databricks Runtime 13.3+深度集成的底层优化,它无需修改ET

weixin_30907935的博客 371

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

Delta Lake实战指南:解决Spark数据湖ACID、Schema演进与时间回溯难题

Delta Lake是构建可靠大数据湖的核心组件,它将传统数据库的ACID事务能力无缝引入基于Parquet和S3/HDFS的数据湖架构。其核心原理是在不改变底层存储格式的前提下,通过轻量级事务日志(DeltaLog)实现原子写入、并发控制与强一致性保障。技术价值体现在显著降低数据不一致风险、支持无停服模式演进、提供毫秒级时间旅行能力,并与Spark深度集成,零代码改造即可升级现有Pipeline。典型应用场景包括湖仓一体平台建设、实时数仓分层(Medallion)、订单/用户行为等高并发写入场景,以及需要

weixin_34049948的博客 388

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

Delta Lake深度解析:事务性数据湖的工程实践与原理

Delta Lake 是一种构建在对象存储之上的事务性数据存储引擎,其核心原理是‘日志即数据库’——通过不可变的 JSON 事务日志(_delta_log)实现 ACID 保证、Schema 强制演化与时间旅行能力。相比传统 Parquet/Hive 数据湖的‘无事务、无统一 Schema、无可靠溯源’三重困境,Delta 以轻量抽象层兼容 S3/ADLS/HDFS,天然支持 Spark 生态深度集成,并在 PB 级生产环境中验证了高并发写入一致性、数据跳过优化与开箱即用的治理能力。本文聚焦 Delta L

Liusuzhi19610221的博客 440

Lakehouse实战:用Delta Lake构建可信数据湖架构

Lakehouse 是现代数据架构的关键演进,它在传统数据湖基础上引入ACID事务、强Schema约束和时间旅行查询等核心能力,将松散的文件集合升级为可信赖的分布式事务表。其技术本质是通过统一存储层(如Delta Lake)重构数据语义,解决数据湖长期存在的元数据缺失、Schema漂移、读写不一致等顽疾。凭借开放表格式、多云兼容性与Spark深度集成,Lakehouse已成为实时分析、机器学习特征工程与合规审计的基础设施底座。本文聚焦Delta Lake生产实践,涵盖Bronze/Silver/Gold分层

weixin_34345753的博客 549

Koalas 1.0:Pandas代码零修改迁移到Spark的实践指南

Pandas是数据科学最普及的DataFrame库,但单机内存与计算瓶颈使其难以应对TB/PB级数据处理需求。Apache Spark凭借分布式执行引擎和成熟容错机制,成为大数据ETL与分析的事实标准。然而,PySpark API范式割裂、Dask/Modin兼容性与稳定性不足,导致Pandas用户面临‘会写不会扩’的工程困境。Koalas应运而生——它不是简单封装,而是严格对齐Pandas语义契约的Spark原生接口层,实现API兼容性、零学习成本迁移与分布式执行透明化。本文聚焦Koalas 1.0核心能

weixin_30333885的博客 389

2019年Apache Spark技术交流社区原创文章回顾

整理了这一年(本号开通半年)分享过的来自诸多专家的实践经验,希望2020年我们仍然能够互相支持,壮大Spark社区。福利:转发本文到朋友圈,集赞30个截图发送至小编(小编微信见文末),送...

weixin_45906054的博客 736

揭秘 Delta Lake:打造高效湖仓一体架构的底层技术

DeltaLake是一款开源数据湖存储框架,通过ACID事务、版本控制和湖仓一体架构解决数据湖管理痛点。本文详解其核心概念、发展历程、架构原理(基于Parquet文件和事务日志)、五大适用场景(湖仓一体、流批统一等),并与Hudi/Iceberg进行技术对比。DeltaLake在Spark生态中表现突出,提供创建/读写、时间旅行、DML操作等完整功能,其ACID事务、Schema管理和性能优化使其成为现代数据平台的首选方案。文章包含Spark实战代码示例,帮助开发者快速构建高效可靠的数据湖架构。

数据与算法架构提升之路专栏 1670

Delta Lake删除向量:文件级跳过加速原理与实战调优

Delta Lake 删除向量(Deletion Vectors)是一种面向列式存储的轻量级元数据优化机制,它不维护传统索引,而是基于 Parquet 文件 Row Group 的 min/max 统计信息,在查询前动态生成‘存在性断言’位图,实现文件级 I/O 跳过。其核心价值在于显著降低高频小范围删除(如时间分区清理、GDPR 数据擦除)的扫描开销,无需重写数据即可获得 10 倍级性能提升。该机制深度集成于 Delta ACID 事务日志,与 Z-Ordering、Data Skipping 形成三层协

weixin_34301132的博客 435

大数据处理技术:Hadoop与Spark核心原理解析

本文深入解析Hadoop与Spark两大核心大数据处理技术。Hadoop作为基础架构,包含HDFS分布式存储、MapReduce批处理计算和YARN资源调度三大组件,采用"一次写入多次读取"模式和计算向数据移动的设计理念。Spark则以内存计算为核心,通过RDD抽象、DAG执行引擎和Tungsten内存优化实现高效处理,支持批流统一计算范式。两者并非替代关系,而是互补协作:Spark常运行于Hadoop YARN之上,利用HDFS存储数据。技术选型需综合考虑数据规模、实时性要求和资源条件

MuXinShu1的博客 907

Apache Spark核心原理与大数据处理实战指南

大数据处理技术通过分布式计算框架实现海量数据的高效分析,其中内存计算是关键突破点。Apache Spark作为主流计算引擎,其核心RDD抽象通过内存缓存和血缘关系实现了比传统MapReduce快100倍的性能提升。在实时计算、机器学习等场景中,Spark的DataFrame API配合Catalyst优化器能自动优化执行计划,而广播变量等特性则有效解决了数据倾斜问题。本文以电商用户行为分析为例,详解从环境搭建到性能调优的全流程实践,特别适合需要处理TB级数据的数据工程师参考。

weixin_30363509的博客 306

Amazon EMR实战指南:从S3数据湖到Spark生产流水线

Amazon EMR 是构建云上大数据处理平台的核心服务,依托Hadoop生态与YARN资源调度,深度集成S3数据湖,支撑批处理、流式分析与特征工程等关键场景。其技术价值不仅在于托管Hadoop/Spark的运维简化,更体现在对成本优化实践(如Spot实例混合调度)、S3一致性读写(emrfs ConsistencyGuard)、Delta Lake事务管理等生产级能力的原生支持。在电商用户行为分析、IoT传感器清洗、金融风控建模等真实业务中,EMR常作为ETL核心引擎,与Glue Data Catalog

dianxi0949的博客 397
上一篇: 【mlflow 系列8】向 mlflow 提交pr(pull request)
下一篇: 【spark系列5】spark 3.0.1集成delta 0.7.0原理解析--delta如何进行DDL DML操作以及Catalog plugin API
鸿乃江边鸟
博客等级 码龄6年 3746粉丝 235原创
评论 10
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值