Delta Lake中CDC的实现

Delta Lake删除向量:细粒度变更的元数据加速原理 Delta Lake作为开源数据湖表格式,其ACID事务与时间旅行能力依赖Parquet文件重写机制,导致DELETE/UPDATE操作面临高延迟与小文件泛滥问题。删除向量(Deletion Vectors)通过在Parquet文件头嵌入轻量级位图元数据,实现逻辑删除而非物理重写,本质是将行级过滤下推至存储层。该技术显著降低I/O放大、提升吞吐并兼容现有SQL语义,尤其适用于电商订单状态更新、金融反洗钱标记等稀疏变更场景。作为Databricks Runtime 13.3+深度集成的底层优化,它无需修改ET 阅读详情

背景

本文基于delta 2.0.0
Delta是通过CDF(change data feed)来实现CDC(change data capture)。
CDF是能让表能够输出数据表变化的能力,CDC是能够捕获和识别数据的变化,并能够将变化的数据交给下游做进一步的处理。
我们来分析一下是怎么做到数据行级别的CDF的

分析

在设置delta.enableChangeDataFeed= true的前提下(在Enable change data fedd有提及),我们分析一下逻辑计划DeltaDelete对应的RunnableCommand DeleteCommand的Run方法:

 final override def run(sparkSession: SparkSession): Seq[Row] = {
    recordDeltaOperation(deltaLog, "delta.dml.delete") {
      deltaLog.assertRemovable()
      deltaLog.withNewTransaction { txn =>
        val deleteActions = performDelete(sparkSession, deltaLog, txn)
        if (deleteActions.nonEmpty) {
          txn.commit(deleteActions, DeltaOperations.Delete(condition.map(_.sql).toSeq))
        }
      }
      // Re-cache all cached plans(including this relation itself, if it's cached) that refer to
      // this data source relation.
      sparkSession.sharedState.cacheManager.recacheByPlan(sparkSession, target)
    }

    Seq.empty[Row]
  }

最重要的方法是performDelete,这里的performDelete方法会根据condition来做不同的操作:

  • 如果没有条件,那就是全部删除:
    case None =>
      // Case 1: Delete the whole table if the condition is true
      val allFiles = txn.filterFiles(Nil)

      numRemovedFiles = allFiles.size
      scanTimeMs = (System.nanoTime() - startTime) / 1000 / 1000
      val (numBytes, numPartitions) = totalBytesAndDistinctPartitionValues(allFiles)
      numBytesRemoved = numBytes
      numFilesBeforeSkipping = numRemovedFiles
      numBytesBeforeSkipping = numBytes
      numFilesAfterSkipping = numRemovedFiles
      numBytesAfterSkipping = numBytes
      if (txn.metadata.partitionColumns.nonEmpty) {
        numPartitionsAfterSkipping = Some(numPartitions)
        numPartitionsRemovedFrom = Some(numPartitions)
        numPartitionsAddedTo = Some(0)
      }
      val operationTimestamp = System.currentTimeMillis()
      allFiles.map(_.removeWithTimestamp(operationTimestamp))

这里列举该表的所有文件,并把所有的文件标识为RemoveFile,并带上时间戳。

  • 如果是有筛选条件,则会根据筛选条件进行行级别的记录变更(这里还会根据情况具体分析):

    1. 能够从delta的元数据能够囊括过滤的条件,则只是在元数据层面进行修改:
       case Some(cond) =>
         val (metadataPredicates, otherPredicates) =
           DeltaTableUtils.splitMetadataAndDataPredicates(
             cond, txn.metadata.partitionColumns, sparkSession)
    
         numFilesBeforeSkipping = txn.snapshot.numOfFiles
         numBytesBeforeSkipping = txn.snapshot.sizeInBytes
    
         if (otherPredicates.isEmpty) {
           // Case 2: The condition can be evaluated using metadata only.
           //         Delete a set of files without the need of scanning any data files.
           val operationTimestamp = System.currentTimeMillis()
           val candidateFiles = txn.filterFiles(metadataPredicates)
    
           scanTimeMs = (System.nanoTime() - startTime) / 1000 / 1000
           numRemovedFiles = candidateFiles.size
           numBytesRemoved = candidateFiles.map(_.size).sum
           numFilesAfterSkipping = candidateFiles.size
           val (numCandidateBytes, numCandidatePartitions) =
             totalBytesAndDistinctPartitionValues(candidateFiles)
           numBytesAfterSkipping = numCandidateBytes
           if (txn.metadata.partitionColumns.nonEmpty) {
             numPartitionsAfterSkipping = Some(numCandidatePartitions)
             numPartitionsRemovedFrom = Some(numCandidatePartitions)
             numPartitionsAddedTo = Some(0)
           }
           candidateFiles.map(_.removeWithTimestamp(operationTimestamp))
         }
    

    DeltaTableUtils.splitMetadataAndDataPredicates是判断过滤条件是否是在元数据层能够囊括,如果可以的话,就通过val candidateFiles = txn.filterFiles(metadataPredicates)来过滤出所有的文件,然后通过candidateFiles.map(_.removeWithTimestamp(operationTimestamp))在元数据层面进行删除.
    2. 如果不仅仅是从元数据层面进行过滤,则会过滤出所有满足条件的数据:

          val candidateFiles = txn.filterFiles(metadataPredicates ++ otherPredicates)
          numFilesAfterSkipping = candidateFiles.size
          val (numCandidateBytes, numCandidatePartitions) =
            totalBytesAndDistinctPartitionValues(candidateFiles)
          numBytesAfterSkipping = numCandidateBytes
          if (txn.metadata.partitionColumns.nonEmpty) {
            numPartitionsAfterSkipping = Some(numCandidatePartitions)
          }
          val nameToAddFileMap = generateCandidateFileMap(deltaLog.dataPath, candidateFiles)
          val fileIndex = new TahoeBatchFileIndex(
            sparkSession, "delete", candidateFiles, deltaLog, deltaLog.dataPath, txn.snapshot)
          // Keep everything from the resolved target except a new TahoeFileIndex
          // that only involves the affected files instead of all files.
          val newTarget = DeltaTableUtils.replaceFileIndex(target, fileIndex)
          val data = Dataset.ofRows(sparkSession, newTarget)
          val deletedRowCount = metrics("numDeletedRows")
          val deletedRowUdf = udf { () =>
            deletedRowCount += 1
            true
          }.asNondeterministic()
          val filesToRewrite =
            withStatusCode("DELTA", FINDING_TOUCHED_FILES_MSG) {
              if (candidateFiles.isEmpty) {
                Array.empty[String]
              } else {
                data
                  .filter(new Column(cond))
                  .filter(deletedRowUdf())
                  .select(new Column(InputFileName())).distinct()
                  .as[String].collect()
              }
            }
    
          numRemovedFiles = filesToRewrite.length
          scanTimeMs = (System.nanoTime() - startTime) / 1000 / 1000
    
    • val candidateFiles = txn.filterFiles(metadataPredicates ++ otherPredicates) 这一步是过滤出满足条件的文件,大概思路是根据列的统计信息来过滤出不存在的文件,从而山选出可能存在的文件,
    • val nameToAddFileMap = generateCandidateFileMap(deltaLog.dataPath, candidateFiles) 得到具体的文件路径
    • val data = Dataset.ofRows(sparkSession, newTarget)这一步是替换了fileIndex之后的dataset
    • val filesToRewrite = ... 是得到需要重写的文件
     val baseRelation = buildBaseRelation(
     sparkSession, txn, "delete", deltaLog.dataPath, filesToRewrite, nameToAddFileMap)
      // Keep everything from the resolved target except a new TahoeFileIndex
      // that only involves the affected files instead of all files.
     val newTarget = DeltaTableUtils.replaceFileIndex(target, baseRelation.location)
     val targetDF = Dataset.ofRows(sparkSession, newTarget)
     val filterCond = Not(EqualNullSafe(cond, Literal.TrueLiteral))
     val rewrittenActions = rewriteFiles(txn, targetDF, filterCond, filesToRewrite.length)
     val (changeFiles, rewrittenFiles) = rewrittenActions
         .partition(_.isInstanceOf[AddCDCFile])
         ...
     val operationTimestamp = System.currentTimeMillis()
     removeFilesFromPaths(deltaLog, nameToAddFileMap, filesToRewrite, operationTimestamp) ++
     rewrittenActions   
    
    • val rewrittenActions = rewriteFiles(txn, targetDF, filterCond, filesToRewrite.length) 会根据每一行是否满足条件来增加一个名为“_change_type”值为“delete”的列:

          baseData
         .filter(numTouchedRowsUdf())
         .withColumn(
           CDC_TYPE_COLUMN_NAME,
           new Column(
             If(filterCondition, typedLit[String](CDC_TYPE_NOT_CDC).expr,
             lit(CDC_TYPE_DELETE).expr)
           )
        ...
        txn.writeFiles(dfToWrite)
      
      1. 这里的 txn.writeFiles(dfToWrite) 会进行根据是否存在“_change_type” 列来插入名为“__is_cdc”, 值为“true或false”的列,同时也会增加分区列“__is_cdc”
        注意在txn.writeFiles(dfToWrite)如下代码块中:

         val committer = getCommitter(outputPath)
        

        会得到DelayedCommitProtocol对象,这个对象里的newTaskTempFile方法,会对CDC的数据做额外处理:

          } else if (subDir.startsWith(cdcPartitionTrue)) {
            val cleanedSubDir = cdcPartitionTrueRegex.replaceFirstIn(subDir, CDC_LOCATION)
            new Path(cleanedSubDir, filename)
        

        其中CDC_LOCATION的值为“_change_data”,这样所有有变化的数据就存在了“_change_data”目录下了.

      2. 在writeFiles方法最后会返回两种元数据文件,如下:

          val resultFiles = committer.addedStatuses.map { a =>
          a.copy(stats = optionalStatsTracker.map(
           _.recordedStats(new Path(new URI(a.path)).getName)).getOrElse(a.stats))
           }
        
          resultFiles.toSeq ++ committer.changeFiles
        
        • addedStatuses返回的是AddFile文件,这表明是没有改动的文件,
        • changeFiles返回的是AddCDCFile文件,这表明的是满足条件的需要被delete的文件
          其实这两种文件的区分最终还是在commitTask方法中,
          commitTask中的buildActionFromAddedFile方法会根据__is_cdc=true来区分AddCDCFile和AddFile文件, 如果存在,则是AddCDCFile,否则是AddFile,代码如下:
          val partitioning = f._1.filter { case (k, v) => k != CDC_PARTITION_COL }
          f._1.get(CDC_PARTITION_COL) match {
           case Some("true") =>
             val partitioning = f._1.filter { case (k, v) => k != CDC_PARTITION_COL }
             AddCDCFile(f._2, partitioning, stat.getLen)
           case _ =>
             val addFile = AddFile(f._2, partitioning, stat.getLen, stat.getModificationTime, true)
             addFile
          
          最终会被commitTask方法调用,最终传递到Driver端,这样rewrite就会返回两种元数据文件。请注意这里并还没有进行元数据的操作,真正的元数据的操作在 txn.commit中
    • val (changeFiles, rewrittenFiles) = rewrittenActions.partition(_.isInstanceOf[AddCDCFile])根据两种元数据文件的不同进行metrics级别的记录

    • removeFilesFromPaths(deltaLog, nameToAddFileMap, filesToRewrite, operationTimestamp) ++ rewrittenActions
      这一步主要是在元数据层面删除根据条件过滤出来的数据,因为该数据已经根据用户的条件已经处理完了。

结论

根据以上的分析,可以知道目前的CDF只是在Delte层级做了反馈,如果说想要在Flink层达到CDC的效果,还得有个中间层,把delta里的CDF的数据给读取出来,转换Flink 内部形式的ChangelogMode CDC格式(比如说INSERT("+I", (byte) 0),DELETE("-D", (byte) 3))

Delta Lake CDF功能:将传统数据仓库流程升级到更高效的编程方式 而在数据湖中,Delta Lake是一个开源的存储框架,它通过提供一种称为Change Data Feed(CDF)的功能,可以将传统的数据仓库流程升级到更高效的编程方式。通过使用Delta Lake的CDF功能,我们可以实现数据湖中数据的实时流式更新,避免了传统的周期性批处理过程。总结起来,Delta Lake的CDF功能可以替换传统数据仓库流程,将数据处理的方式升级到更高效的编程模式,实现数据湖中数据的实时流式更新。然后,根据不同的操作类型,我们可以实现相应的数据处理逻辑。接下来,我们通过调用。 阅读详情

相关推荐

【CarbonData】CarbonData 与 Delta Lake、Apache Iceberg 等数据湖表格式相比,定位和优劣势是什么?

Apache CarbonData、Delta Lake和Apache Iceberg是三大主流开源数据湖表格式,在架构设计和性能特性上有显著差异: CarbonData采用内置智能存储设计,将索引和预聚合功能嵌入存储格式本身,适合需要高性能查询和分析的场景,但对Hive Metastore有依赖。Delta Lake基于乐观并发控制和事务日志,与Spark深度集成,适合流批一体场景。Apache Iceberg通过元数据快照实现高效读取,引擎解耦性最佳,适合多引擎访问环境。 在物联网设备监控案例中,Car

九师兄 19

flinkCDC相当于Delta.io中的什么 delta.io之CDF

更改数据馈送 (CDF) 功能允许 Delta 表跟踪 Delta 表版本之间的行级更改在 Delta 表上启用时,运行时会记录写入表中的所有数据的“更改事件”。这包括行数据以及指示指定行是被插入、删除还是更新的元数据。

yy的博客 825

数据湖架构深度解析:Delta Lake vs Iceberg vs Hudi

随着企业数据规模呈指数级增长,传统数据仓库难以应对半结构化/非结构化数据处理需求,数据湖架构应运而生。然而,数据湖面临数据一致性缺失、版本管理混乱、schema演进困难等挑战。本文聚焦Delta Lake(Databricks)、Iceberg(Netflix/Apple)、Hudi(Uber)三大开源框架,从技术原理、核心算法、实战应用等维度进行深度对比,为数据湖建设提供决策参考。本文采用"原理剖析→技术对比→实战验证→趋势展望"的逻辑结构,通过技术细节解析与工程实践结合,帮助读者建立完整的技术认知体系。

Java大师兄的博客 1154

基于Spark3.x的数据湖技术Delta Lake开发实战

本课程内容整理自一个湖仓一体的数仓项目。Delta Lake、Hudi和Iceberg是三大数据湖技术,当前处于发展初期,已有很多大型互联网公司采用这类技术。在搭建数据平台的过程中,一般会将数据湖和数据仓库结合起来使用,数据湖技术主要解决数据仓库的痛点之一:源头数据的表结构(Schema)变化如何处理?数仓如何存储非结构化数据?本课程通过一个一个代码示例,展示Delta Lake的每个特性,同时会结合实际项目,讲解Delta Lake技术的设计思路,其在湖仓一体建设过程中究竟起到了什么作用。

cdc_deltaLake:Docker撰写和Google Colab演示,用Delta Lake构建CDC

PostgreSQL(Debezium)-卡夫卡-Spark Delta Lake 描述 该项目是用于测试CDC(更改数据捕获)的演示。 所有基础架构都是使用docker构建的。 特征 PostgreSQL作为旧版数据库 Debezium作为变更数据捕获 Kafka从Debezium提取数据 KSQLDB将Avro消息转换为JSON Spark Delta Lake可以管理旧数据库中的事件

瑞萨RZN2L工业以太网开发避坑指南:EtherCAT从入门到通信调试全流程

本文详细解析了瑞萨RZN2L MPU在工业以太网开发中的EtherCAT从站配置与通信优化全流程。通过硬件设计关键点、协议栈选型、PDO映射策略及DC同步精度优化等实战技巧,帮助开发者快速搭建高效通信框架并解决调试中的常见问题,特别适合工业自动化领域的实时通信需求。

aitie1479的博客 463

1.实时数仓-典型应用场景

1.CDC 备注:flink中已经实现了cdc机制,相比上图spark对cdc的实现更加简洁高效,对于做db数据全量和增量同步; 2.ETL 3.实时数仓典型技术架构

工匠精神coding,终生学习 1329

TLSR8258蓝牙Mesh实战:从SDK下载到自定义通信指令全流程(附避坑指南)

本文详细介绍了TLSR8258蓝牙Mesh开发的完整流程,从SDK下载、环境搭建到自定义通信指令的实现。通过实战案例和避坑指南,帮助开发者快速掌握低功耗蓝牙Mesh网络构建技巧,适用于智能家居、工业监控等物联网场景。

weixin_29176179的博客 203

Hudi系列26: Spark处理Flink CDC同步的实时数据

因为数据已经同步到了Hive,Spark SQL默认可以读取Hive表的数据,所以可以直接进行操作。

只是甲的博客 757

UFS 功能描述:UFS boot

UFS 启动过程介绍:启动配置,启动代码下载过程和安全性

m0_51720747的博客 1608

手把手教你用ZYNQ PS端GPIO模拟SPI驱动OLED屏幕(附Vivado工程)

本文详细介绍了如何利用ZYNQ PS端的EMIO功能,通过GPIO模拟SPI协议驱动SSD1306 OLED屏幕。从Vivado工程配置、SPI协议软件实现到SSD1306驱动开发,提供了完整的解决方案和优化技巧,适合嵌入式开发者快速上手。

weixin_30776545的博客 131

【数据湖构建篇】数据湖构建服务搭配Delta Lake玩转CDC实时入湖

什么是CDC Change Data Capture(CDC)用来跟踪捕获数据源的数据变化,并将这些变化同步到目标存储(如数据湖或数据仓库),用于数据备份或后续分析,同步过程可以是分钟/小时/天等粒度,也可以是实时同步。CDC方案分为侵入式(intrusive manner)和非倾入性(non-intrusive manner)两种。 侵入式 侵入式方案直接请求数据源系统(如通过JDBC读取数据),会给数据源系统带来性能压力。常见的方案如下: 最后更新时间(Last Modified) 源表需要

数据库技术 892

LangChain4j-针对性操作Function-call+系统预设角色

如果我们想要对一些敏感信息进行针对化的操作,不仅仅是接口大模型去进行回复。比如我们现在数据库里面有一些菜品,那么用户提问,店里有多少套餐,那么云端大模型肯定是不知道的,我们希望捕获这些关键字然后进行自己的业务查询或者处理,这个时候就可以使用function-call。

DDDDDouble的博客 454

「数据湖也能变实时?」揭秘 Delta Lake 到 ClickHouse 的 CDC 黑科技

未来几个月内,我们计划在 ClickPipes 中加入生产可用级别的 Delta Lake CDC 支持。

ClickHouseDB的博客 1229

Android oom_adj 更新原理(一)

通过之前的两篇博文《lmkd 机制详解》和《lmkd中adj score的算法剖析》中,根据计算出来的 min_score_adj 选择大于该值的 oom_adj 的进程进行 kill 处理。oom_adj 随着应用状态的不同其值也是伴随着变化的。本文将通过源码剖析 oom_adj 更新的原理。

私房菜 2657

第14.1章 高翔博士2025年11月最新开源框架Lightning-LM源码学习解读(一):激光-IMU定位+建图算法各模块简介

Lightning-LM:高效激光SLAM定位系统 该框架基于模块化设计,通过激光-IMU融合实现快速建图与定位,核心特点包括: 极速性能:纯CPU运行(建图1.2核/定位0.8核) 模块化架构:包含激光里程计(LIO)、地图管理、回环检测等独立模块 动态场景支持:地图分块加载、动静态图层分离 多模式适配:支持ROS2环境下的在线/离线运行 关键模块包括前端里程计(core/lio)、2D/3D地图转换(core/g2p5)、轻量优化库(core/miao)等,通过系统控制器(core/system)协调流

行知SLAM 2441

基于Delta Lake构建数据湖仓体系

全文将围绕以下四个部分展开:Delta Lake 的基本概念和发展历程,以及 2.0 版本的关键特性 Delta Lake 的内核解析以及关键技术 围绕Delta Lake湖格式的生态建设 Delta Lake 在数仓领域的经典案例

科技很有意思 1170

【全志V821_FoxPi】6-3 GC2083 MIPI摄像头适配

本文介绍了在全志V821芯片上适配GC2083 MIPI摄像头的方案。GC2083是一款支持1080P@30fps的高性能CMOS图像传感器,采用MIPI CSI-2接口,具有低功耗特性。文章详细列出了传感器的技术参数和工作电压要求,并提供了设备树配置示例,包括CSI接口、ISP处理单元和传感器节点的具体设置。通过快速配置命令one_gc2083_sensor或手动修改设备树即可启用该摄像头模组,适用于IPC等对图像质量有要求的嵌入式应用场景。

第四维度的博客 1936

数据湖 Delta Lake 实战:ACID 事务与 CDC 变更数据捕获

Delta Lake 的核心优势在于它添加了事务日志(Transaction Log),使得数据操作具备 ACID 特性。

2501_93893723的博客 488

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

pi sql取实时值_数据湖构建服务搭配Delta Lake玩转CDC实时入湖

什么是CDCChange Data Capture(CDC)用来跟踪捕获数据源的数据变化,并将这些变化同步到目标存储(如数据湖或数据仓库),用于数据备份或后续分析,同步过程可以是分钟/小时/天等粒度,也可以是实时同步。CDC方案分为侵入式(intrusive manner)和非倾入性(non-intrusive manner)两种。侵入式侵入式方案直接请求数据源系统(如通过JDBC读取数据),会给...

weixin_39617502的博客 197

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

Delta Lake + Flink 近实时数据湖 Schema 演化实战

真正的数据湖创新,不在于堆砌组件,而在于用确定性的机制驯服不确定的业务变化。✅零停机 Schema 升级:业务方改表后 30 秒内新字段即可被下游 BI 查询;✅全链路可追溯:从任意时间点还原出当时的完整数据+Schema 快照;✅降低运维心智负担:告别手动和。如何用 Delta Rust SDK 构建轻量级 Schema Registry,替代 Hive Metastore 的部分职能——欢迎关注。附:完整部署脚本已开源至 GitHub →。

A20250FSAF的博客 32

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Delta Lake时间旅行功能:数据版本控制深度解析

在大数据时代,数据版本控制已成为企业数据管理的核心需求。传统的数据湖架构往往面临数据一致性、版本管理和历史追溯等挑战。Delta Lake作为开源存储框架,通过其强大的时间旅行(Time Travel)功能,为数据工程师和分析师提供了革命性的解决方案。 时间旅行功能允许用户查询Delta表的历史版本数据,就像穿越时空回到过去的某个时间点。这不仅简化了数据审计和故障恢复流程,更为复杂的数据分析场景...

gitblog_00981的博客 874

数据血缘终极指南:用Delta Lake构建端到端可追溯的数据湖仓

Delta Lake是一个开源存储框架,支持通过Spark、PrestoDB、Flink、Trino和Hive等计算引擎构建数据湖仓架构,提供强大的数据血缘追踪能力,帮助企业实现数据全生命周期的可追溯性。 ## 为什么数据血缘对现代数据架构至关重要? 在当今数据驱动的世界中,数据血缘已成为企业数据治理的核心支柱。它不仅帮助数据工程师追踪数据从源头到最终消费的完整旅程,还能有效解决以下关键挑战:

gitblog_00437的博客 459

Delta Lake时间旅行查询原理与PySpark实践

数据版本控制是构建数据湖的关键技术,通过记录数据变更历史实现状态追溯。Delta Lake作为Apache Spark生态的核心存储层,采用事务日志机制实现多版本管理,每个写入操作生成带时间戳的新版本。这种机制为数据审计、错误恢复和实验复现等场景提供技术支撑,其中时间旅行查询(Time Travel Query)能精确获取历史时点数据状态。PySpark通过versionAsOf和timestampAsOf参数支持跨版本分析,结合Z-Ordering优化和定期维护策略可提升查询性能。在金融风控和机器学习等领

weixin_30423977的博客 405

Delta表到Prompt链路:数据管道与大模型提示词工程的融合实践

在AI工程化落地中,提示词(Prompt)并非孤立文本,而是需与底层数据架构深度耦合的技术接口。其本质是将结构化数据语义转化为LLM可理解的上下文,依赖数据新鲜度、字段相关性与业务意图对齐。Databricks Delta Lake凭借变更数据捕获(CDC)、虚拟列生成和ZORDER物理优化,天然支持‘Prompt就绪型’数据建模;而AWS SQS、EC2+vLLM等组件则保障低延迟、高可控的推理服务。本文聚焦‘Pipelines to Prompts’这一关键范式跃迁,详解如何把Prompt当作Schem

weixin_34417200的博客 386

Kafka生态深化——Schema与Connect、CDC入湖的链路与一致性挑战

Kafka生态通过Schema管理、Connect框架和CDC技术构建了完整的数据集成解决方案。从简单的消息传递到复杂的数据入湖,Kafka正在成为企业数据架构的核心中枢。关键成功要素Schema优先:建立统一的数据契约管理,确保格式兼容性配置化集成:利用Connect框架降低集成复杂度端到端一致性:通过事务机制保证数据准确可靠运维可观测:建立完善的监控和治理体系未来发展趋势流批一体:Kafka与数据湖深度集成,实现流批统一处理Serverless化:按需使用的数据集成服务,降低运维成本。

刘珏的博客 970
上一篇: SPARK中关于HighlyCompressedMapStatus的说明(会造成运行时的数据不精确)
下一篇: SPARK中metrics是怎么传递的
鸿乃江边鸟
博客等级 码龄6年 3746粉丝 235原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值