专家带你吃透 Flink 架构:一个新版 Connector 的实现

吃透Flink架构:一个新版Connector的实现 批模式和流模式通常需要不同的处理逻辑,例如示例的批模式通过一个计数器来结束批数据。对于 KafkaSource,批模式下 SplitEnumerator 列出处有的 partition,并把每个 partition 的当前最新的数据偏移作为数据分片的结束点,流模式下 SplitEnumerator 则把无穷大作为 partition 数据分片的结束点,即会持续的读取每个 partition 的新增数据,流模式下还可以周期性的监测 partition 的变化并为新增的 partitition 生成数据分片。 阅读详情

前言

Flink 可以说已经是流计算领域的事实标准,其开源社区发展迅速,提出了很多改进计划(Flink Improvement Proposals,简称 FLIP)并不断迭代,几乎每个新的版本在功能、性能和使用便捷性上都有所提高。Flink 提供了丰富的数据连接器(connecotr)来连接各种数据源,内置了 kafka、jdbc、hive、hbase、elasticsearch、file system 等常见的 connector,此外 Flink 还提供了灵活的机制方便开发者开发新的 connector。对于 source connector 的开发,有基于传统的 SourceFunction 的方式和基于 Flink 改进计划 FLIP-27 的 Source 新架构的方式。本文首先介绍基于 SourceFunction 方式的不足,接着介绍 Source 新架构以及其设计上的深层思考,然后基于 Flink 1.13 ,以从零开发一个简单的 FileSource connector 为例,介绍开发 source connector 的基本要素,尽量做到理论与实践相结合加深大家的理解。

流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标,加速企业实时化数字化的建设进程。流计算 Oceanus 提供了便捷的控制台环境,方便用户编写 SQL 分析语句、ETL 作业或者上传运行自定义 JAR 包,支持作业运维管理。欢迎大家试用,目前还有新用户 1元秒杀活动,机会难得,不容错过。

Source 旧架构

在 Flink 1.12 之前,开发一个 source connector 通过实现 SourceFunction 接口来完成,官方给出的通用的实现模式如下。当 source 开始发送数据时,run 方法被调用,其参数 SourceContext 用于发送数据。run 方法是一个无限循环,通过一个标识 isRunning 来跳出循环结束 source。批模式和流模式通常需要不同的处理逻辑,例如示例的批模式通过一个计数器来结束批数据。此外,还需要通过 checkpoint 锁来保证状态更新和数据发送的原子性。值得一提的是,Flink 在 SourceFunction 之上抽象出了 InputFormatSourceFunction,开发者只需要实现 InputFormat,批模式 source connector(如 HBase)通常基于 InputFormat 实现,当然 InputFormat 也可以用于流模式,在一定程度上体现了批流融合的思想,但整体上来看至少在接口层面上流批并没有完全一致。

  public class ExampleCountSource implements SourceFunction<Long>, CheckpointedFunction {
      private long count = 0L;
      private volatile boolean isRunning = true;

      private transient ListState<Long> checkpointedCount;

      public void run(SourceContext<T> ctx) {
          while (isRunning && count < 1000) {
              // this synchronized block ensures that state checkpointing,
              // internal state updates and emission of elements are an atomic operation
              synchronized (ctx.getCheckpointLock()) {
                  ctx.collect(count);
                  count++;
              }
          }
      }

      public void cancel() {
          isRunning = false;
      }

      public void initializeState(FunctionInitializationContext context) {
          this.checkpointedCount = context
              .getOperatorStateStore()
              .getListState(new ListStateDescriptor<>("count", Long.class));

          if (context.isRestored()) {
              for (Long count : this.checkpointedCount.get()) {
                  this.count += count;
              }
          }
      }

      public void snapshotState(FunctionSnapshotContext context) {
          this.checkpointedCount.clear();
          this.checkpointedCount.add(count);
      }
 }

在基于 SourceFunction 的开发模式下,以 Kafka Source 为例,见下图,FlinkKafkaConsumer 为 SourceFunction 的实现类,该类中集中了 kafka partition 发现逻辑(KafkaPartitionDiscoverer)、数据读取逻辑(KafkaFetcher)、基于阻塞队列实现的生产者消费者模型(KafkaConsumerThread -> Handover -> SourceContext)等等。
在这里插入图片描述

我们可以发现,这种开发模式存在如下不足:

  1. 首先对于批模式和流模式需要不同的处理逻辑,不符合批流融合的业界趋势。
  2. 数据分片(例如 kafka partition、file source 的文件 split)和实际数据读取逻辑混合在 SourceFunction 中,导致复杂的实现。
  3. 数据分片在接口中并不明确,这使得很难以独立于 source 的方式实现某些功能,例如事件时间对齐(event-time alignment)、分区 watermarks(per-partition watermarks)、动态数据分片分配、工作窃取(work stealing)。
  4. 没有更好的方式来优化 Checkpoint 锁,在锁争用下,一些线程(例如 checkpoint 线程)可能无法获得锁。
  5. 没有通用的构建模式,每个源都需要实现自行实现复杂的线程模型,这使得开发和测试一个新的 source 变得困难,也提高了开发者对现有 source 的作出贡献的门槛。

有鉴于此,Flink 社区提出了 FLIP-27 的改进计划,并在 Flink 1.12 实现了基础框架,在 Flink 1.13 中 kafka、hive 和 file source 已移植到新架构,开源社区的 Flink CDC connector 2.0 也基于新架构实现。

Source 新架构

在这里插入图片描述

基于 FLIP-27 的 Source 新架构如上图所示,由两个主要部件组成:SplitEnumerator 和 SourceReader。SplitEnumerator 负责数据分片和分配,SourceReader 则负责具体分片数据的读取。当一个新的分片被 SplitEnumerator 添加到 SourceReader,首先初始化分片状态并放入状态哈希表中,然后分片被分配给 SplitReader 读取数据。读取的数据以小批量模式封装于 RecordsWithSplitIds 并放置于中间队列 Queue,这种批量数据模式可以提高性能。SourceReader 从 Queue 中获取一批数据,遍历每一条数据,并查找数据相应的分片状态,数据和分片状态一并传递给 RecordEmitter,RecordEmitter 先把数据传递给 SourceOutput,然后更新分片状态。状态哈希表中的状态在 checkpoint 时持久化到状态存储。

Source 新架构具有以下特点。

数据分片与数据读取分离。例如在 FileSource 中,SplitEnumerator 负责列出所有的文件,并有可能把文件按块或者范围进行切分,SourceReader 则负责具体的文件/块的数据读取。又例如在 KafkaSource 中,SplitEnumerator 负责发现需要读取的 kafka partition,SourceReader 则负责具体 partition 数据的读取。

批流融合。基于新架构开发的 Source 既可以工作于批模式也可以工作于流模式,批仅仅是有界的流。大多数情况下,只有 SplitEnumerator 需要感知数据源是否有界。例如对于 FileSource,批模式下 SplitEnumerator 只需要一次性的列出目录下的所有文件,流模式下则需要周期性的列出所有文件,并为新增的文件生成数据分片。对于 KafkaSource,批模式下 SplitEnumerator 列出处有的 partition,并把每个 partition 的当前最新的数据偏移作为数据分片的结束点,流模式下 SplitEnumerator 则把无穷大作为 partition 数据分片的结束点,即会持续的读取每个 partition 的新增数据,流模式下还可以周期性的监测 partition 的变化并为新增的 partitition 生成数据分片。

双向通信。SplitEnumerator 运行在 JobManager,SourceReader 运行在 TaskManager,SplitEnumerator 和 SourceReader 之间可以双向通信,SourceReader 可以主动向 SplitEnumerator 请求数据分片实现 pull 模式的数据分片分配(例如 FileSource),SplitEnumerator 也可以把数据分片直接分配给 SourceReader 实现 push 模式的分配(例如 KafkaSource)。此外,根据需要还可以定制化一些消息实现 SplitEnumerator 和 SourceReader 之间的交互需求。基于双向通信的能力,比较容易实现事件时间对齐(event-time alignment)的功能,实现数据分片之间事件时间的均衡推进。

通用线程模型。考虑到外部数据源系统的客户端 API 调用方式的差异(阻塞、非阻塞、异步),SourceReader 在设计上支持单分片串行读取、多分片多路复用、多分片多线程三种模式。Flink 1.13 内核的 SingleThreadMultiplexSourceReaderBase/SingleThreadFetcherManager 抽象出的框架支持前两种线程模型,开发者基于此开发 source connector 变得容易。例如 FileSource 采用了单分片串行读取模式,在一个数据分片读取后,再向 SplitEnumerator 请求新的数据分片。KafkaSource 采用了多分片多路复用模式,SplitEnumerator 把启动时读取的 partition 列表和定期监测时发现的新的 partition 列表批量分配给 SourceReader,SourceReader 使用 KafkaConsumer API 读取所有分配到的 partition 的数据。

在这里插入图片描述

容错。SplitEnumerator 和 SourceReader 通过 Flink 的分布式快照机制持久化状态,发生异常时从状态恢复。通常 SplitEnumerator 状态保存了未分配的数据分片,SourceReader 状态保存了分配的数据分片以及分片读取状态(例如 kafka offset,文件 offset)。例如流模式下 FileSource 的 SplitEnumerator 状态保存了未分配的分片以及处理过的文件列表,并定期监测文件列表的变化,为新增文件生成数据分片;SourceReader 状态保存了当前读取的分片信息和文件读取 offset。

FileSource 开发实践

下面我们进入实际操作阶段,基于新架构开一个简单的 FileSource connector,该 connector 工作于流模式,读取指定目录下的文件,并定期监测新增文件。

初始化项目

  1. 我们使用 IntelliJ IDEA 作为开发工具,并按照 Flink 编码规范配置 IntelliJ IDEA,在菜单栏选择 “File -> New -> Project…”,填写必要的信息,按照提示操作完成项目创建。

在这里插入图片描述
在这里插入图片描述

  1. 在 pom.xml 文件添加必要的 Flink 依赖。
  2. Flink 基于 Java SPI 机制l发现和加载自定义 connector,我们在 resources 目录下创建目录 META-INF/services,并在该目录下创建文件 org.apache.flink.table.factories.Factory,文件内容为:
com.tencent.cloud.oceanus.connector.file.table.FileDynamicTableFactory
  1. 创建 Java 类 com.tencent.cloud.oceanus.connector.file.table.FileDynamicTableFactory 实现 DynamicTableSourceFactory。

  2. 现在,我们项目初始化已经完成,可以在 IntelliJ IDEA 项目右侧选择 “Maven -> flink-connector-files -> LifeCyle -> package” 构建项目,能够在 target 目录下正确构建出名为 flink-connector-files-1.0.0.jar 的二进制包。

Connector 开发

我们按照 Flink 官方的自定义 connector 开发文档来一步步完成 FileSource connector 的开发。

Metadata 层

简单起见,我们的 connector 只支持按行读取指定目录的文件,在 SQL 语句中按如下方式使用 connector。

CREATE TABLE test (
  `line` STRING
) WITH (
  'connector' = 'file',
  'path' = 'file:///path/to/files'
);

Planning 层

  1. 创建类 FileDynamicTableFactory,添加自定义 connector 标识 file和参数 path。校验参数并创建 FileDynamicSource。
  2. FileDynamicSource 创建 Runtime 层的 FileSource。

Runtime 层

FileSource

实现 Source 接口,需要三个类型参数:第一类型参数为 Source 输出数据类型,由于我们的 connector 用于 SQL 作业场景,这里设置为 RowData 类型。第二个类型参数为数据分片类型 SourceSplit。第三个类型参数为 SplitEnumerator checkpoint 数据类型。

FileSource 是一个工厂类,用于创建 SplitEnumerator、SourceReader、数据分片序列化器、SplitEnumerator checkpoint 序列化器。

FileSourceSplit

实现 SourceSplit。该类保存了数据分片 id、文件路径、数据分片起始位置的文件偏移(我们这里整个文件作为一个数据分片,不再细分,因此偏移始终为 0)、文件长度、文件读取进度(恢复时从该位置继续数据读取)。

FileSourceSplitSerializer

数据分片序列化器,对 FileSourceSplit 序列化和反序列化。数据分片在从 SplitEnumerator 传输到 SourceReader,以及被 SourceReader checkpoint 持久化时都需要序列化。

PendingSplitsCheckpoint

SplitEnumerator checkpoint 数据,保存了未分配的分片以及处理过的文件列表。

PendingSplitsCheckpointSerializer

SplitEnumerator checkpoint 序列化器,对 PendingSplitsCheckpoint 序列化和反序列化。

FileSourceEnumerator

定期监测目录下的文件,生成数据分片,并分配给 SourceReader。Flink 内核提供了定时回调接口

SplitEnumeratorContext#callAsync 方便我们使用。这里我们采用 pull 模式的数据分片分配策略。

FileSourceReader

继承自 SingleThreadMultiplexSourceReaderBase,在读取完一个数据分片(文件)后再向 FileSourceEnumerator 请求下一个分片。我们需要实现数据分片状态初始化接口 initializedState,当新的数据分片加入时会调用该接口。实现接口 toSplitType,把可变的数据分片状态 FileSourceSplitState 转换为不可变的数据分片 FileSourceSplit ,checkpoint 时会调用该接口得到最新状态的 FileSourceSplit 并持久化。 FileSourceRecordEmitter 发送数据到下游,并更新 FileSourceSplitState 的分片读取进度。具体分片数据读取逻辑在 FileSourceSplitReader 实现,这里我们简单的每次读取一行数据。

Connector 测试

基本功能

  1. 从 Flink 官网下载已经编译好的二进制包 Apache Flink 1.13.3 for Scala 2.11 (asc, sha512) 并解压,进入解压后的目录。拷贝我们开发的 connector 二进制包 flink-connector-files-1.0.0.jar(点击下载)到 lib 目录。
tar -zxvf flink-1.13.3-bin-scala_2.11.tgz
cd flink-1.13.3
cp flink-connector-files-1.0.0.jar lib/ -avi
  1. 启动本地集群。可在本地浏览器里打开 http://localhost:8081 进入 Flink UI 验证集群是否启动成功。
./bin/start-cluster.sh
  1. 创建测试数据目录,我们的 connector 从该目录下读取文件。然后进入 sql client 命令行。
mkdir -p /tmp/file-connector
./bin/sql-client.sh
  1. 在 sql client 命令行输入。
create table `source` (
    `line` STRING
) with (
    'connector' = 'file',
    'path' = '/tmp/file-connector'
);

select * from `source`;
  1. 我们往目录 /tmp/file-connector 写入几个文件测试一下,可见我们的 connector 能正常的读取文件数据。
cd /tmp/file-connector
echo "Hello World" > 1.txt
echo "tencent" > 2.txt
echo "oceanus" > 3.txt  
echo "我爱我的祖国" > 4.txt

在这里插入图片描述

状态和容错

  1. 在 Flink 配置 conf/flink-conf.yaml 添加状态存储配置,设置 checkpoint 和 savepoint 目录,checkpoint 时间间隔,以及 Flink 重启策略。
state.backend: filesystem
state.checkpoints.dir: file:///tmp/flink-checkpoints
state.savepoints.dir: file:///tmp/flink-savepoints
execution.checkpointing.interval: 30s
restart-strategy: fixed-delay
restart-strategy.fixed-delay.attempts: 30
restart-strategy.fixed-delay.delay: 5s
  1. 重启集群,并重新进入 sql client 命令行。
./bin/stop-cluster.sh
./bin/start-cluster.sh
./bin/sql-client.sh
  1. 重新提交作业。
create table `source` (
    `line` STRING
) with (
    'connector' = 'file',
    'path' = '/tmp/file-connector'
);

select * from `source`;
  1. 这次我们准备一个大的数据文件 bigfile.txt,例如有上千万行,拷贝文件到目录 /tmp/file-connector 。

  2. 在浏览器输入 http://localhost:8081 进入 Flink UI 界面,点击 ‘Running Jobs’,可看到我们正在运行的作业,点击作业进入作业详情,选择 Checkpoints 标签页,然后选择 History 的子标签页,点击右侧的 Refresh 按钮。
    在这里插入图片描述
    在这里插入图片描述

  3. 在观察到一次成功的 checkpoint 之后,我们重启 taskmanager。

./bin/taskmanager.sh stop
./bin/taskmanager.sh start
  1. 稍等一会儿,我们可在 Flink UI 里观察到作业从 checkpoint 恢复的信息。

在这里插入图片描述

  1. 同时我们在 taskmanager 日志里可观察到作业恢复时的数据分片信息包含 checkpoint 时保存的文件读取 offset 信息。

在这里插入图片描述

FileSource 开发实践总结

作为流计算领域的事实标准,Flink 有着优秀的架构设计,其强大的可扩展能力让我们开发一个自定义 connector 变得简单。Flink 社区的文档也非常丰富和详细,这里我们按照 Flink 自定义 connector 开发文档,基于 FLIP-27 的 Source 新架构开发了一个简单 FileSource connector,并演示了其基本功能和错误恢复功能。我们在开发新的 connector 时可以多参考社区已有 connector 的设计和开发模式,甚至可以对现有 connector 进行功能增强来满足需求。我们这里的 FileSource connector 就是参考内核的 filesystem connector,进行了简化以方便大家理解。内核的 filesystem connector 不支持同一个文件的增量数据读取,如果我们实际业务场景一定需要这种能力,我们可以给 filesystem connector 添加该功能并贡献到社区。

总结

本文首先介绍了 Flink Source Connector 开发时基于传统的 SourceFunction 方式的不足,接着介绍了 FLIP-27 的 Source 新架构特点及其优势,然后基于新架构从零开发了一个简单的 FileSource connector,介绍开发 source connector 的基本要素。最后,欢迎大家猛击( 1元秒杀)体验流计算 Oceanus,免费学习 Flink。
在这里插入图片描述
请添加图片描述

面对交互式SQL的云原生流式引擎实现:k8s Flink集群对接kafka与clickHouse一体化方案 本文摘要:文章系统讲解了基于FlinkSQLGateway的实时数据处理平台核心技术体系,重点涵盖:1)SQLGateway架构与K8s部署;2)Kafka实时流接入规范(表定义、鉴权、优化);3)ClickHouse写入机制与性能调优;4)Checkpoint容错体系与状态管理;5)监控告警与多租户安全管控。核心在于SQLGateway会话管理、K8s资源调度、流表DDL规范、状态容错机制以及企业级运维方案,形成从数据接入、处理到存储的全链路生产级解决方案。(149字) 阅读详情

相关推荐

Flink自定义RocketMQ Connector实战:从零实现SourceFunction避坑指南

本文是一份详细的Flink自定义RocketMQ Connector实战指南,重点讲解如何从零实现稳定可靠的SourceFunction。文章深入剖析了SourceFunction生命周期管理、线程控制等核心机制,并提供了使用DefaultLitePullConsumer构建健壮消费骨架的完整代码示例。同时,指南还探讨了生产环境中实现精确一次语义、性能调优及避坑的最佳实践,帮助开发者构建高性能、高可用的实时数据集成方案。

weixin_29051149的博客 433

Flink1.15使用HiveCatalog和flink-connector-files遇到的问题

Flink1.15中使用HiveCatalog和flink-connector-files冲突问题

weixin_45181338的博客 986

Flink实时计算核心原理与实践:从时间状态到流处理架构深度解析

流处理技术是处理海量、高速、持续数据流的核心架构范式,其核心在于对无界数据的有序处理与状态管理。其基本原理是通过事件时间、水位线等机制处理乱序数据,并借助状态管理和检查点机制保障计算的一致性与容错性。这项技术的核心价值在于实现从传统批处理的事后分析到实时流处理的事中决策的跨越,支撑低延迟、高吞吐的数据处理需求。典型应用场景包括实时风控、实时监控、实时推荐和实时ETL等。本文以Apache Flink为例,深入剖析其四大基石——时间、状态、检查点和窗口,并结合生产环境中的状态后端选型与检查点调优等热词,提供从

weixin_30323631的博客 346

Flink源码阅读之FileSystem Connector

代码在flink-table-runtime-blink模块,用户指南参考官网. 目前是旧的实现方式,将会按FLIP-95重新实现FLINK-19336 入口类FileSystemTableFactory,如何做Factory discover的可以参考之前的博文,这里就不赘述了。 Sink 构造FileSystemTableSink对象,传入相关属性参数 public TableSink<RowData> createTableSink(TableSinkFactory.Context con

weixin_41608066的博客 1339

2026年数据集成趋势:从批处理到实时事件驱动的架构演进

数据集成是构建现代数据架构的核心环节,其核心原理在于实现不同数据源之间的高效、可靠连接与同步。传统批处理模式依赖周期性任务,存在固有延迟,难以满足业务对实时性的需求。随着CDC(变更数据捕获)和流处理技术的成熟,实时事件驱动架构正成为技术演进的主流方向,其技术价值在于将数据集成从被动搬运转变为主动响应,极大提升了业务敏捷性与决策时效性。在电商实时推荐、金融风控等应用场景中,毫秒级的数据流动已成为关键竞争力。本文聚焦于如何利用CDC、流处理框架等技术,构建能够感知和驱动业务事件的实时数据管道,这正是实现从批处

weixin_30697239的博客 439

腾讯大数据开发实习面经:从JVM到Flink的完整通关指南

大数据开发岗位要求工程师具备扎实的Java功底和分布式计算思维。从JVM内存模型与垃圾回收,到并发编程的AQS原理,再到Hadoop生态的HDFS读写机制、Spark的宽窄依赖与数据倾斜治理、Flink的Checkpoint与Exactly-Once语义,这些核心知识点构成了面试考察的主线。理解它们背后的设计思想,不仅有助于解决真实场景中的性能瓶颈与数据一致性问题,也是通过腾讯等大厂面试的关键。本文以一场腾讯大数据开发实习面试为例,复盘从技术面到HR面的完整流程,剖析高频考点与实战应答思路,为准备大数据方向

weixin_34234721的博客 400

【Flink 】从入门到生产实战:一篇文章吃透流处理核心

本文基于 Flink 1.18/1.19 重构了实时流处理核心知识,摒弃过时的 DataSet API 与旧版 Source/Sink 接口,聚焦流批一体的 DataStream API。重点梳理了 Flink 执行架构、提交流程、部署模式及新特性,涵盖 Source、Transformation、Sink 的最新写法,强调 Watermark 机制、Exactly-Once 保障、状态管理与数据倾斜应对策略。结合生产踩坑经验,为新手提供实战指导,助力高效构建低延迟、高可靠的实时数据处理系统。

zy123456nn的博客 404

Lakehouse架构核心原理与生产落地实践

Lakehouse是一种融合数据湖灵活性与数据仓库可靠性的现代数据架构,其本质是以开放表格式(如Delta Lake、Iceberg)为底座,依托ACID事务保障、统一元数据管理和分层解耦设计,在对象存储上实现批流一体、BI与AI协同的数据管理能力。它解决了传统数据湖数据可信度低、计算耦合强、治理失效等核心痛点,技术价值体现在存储计算分离、Schema演化可控、细粒度权限可实施。典型应用场景包括实时风控、电商推荐、IoT日志分析等需要高一致性、低延迟和强治理的业务领域。本文聚焦Lakehouse在真实生产环

weixin_30357231的博客 688

Flink 系列第2篇:DataStream API 实战精讲|Source/Transformation/Sink 全算子详解

本文全面介绍Flink DataStream API的核心用法,适用于实时计算开发人员。主要内容包括:1) Flink 1.12+统一使用DataStream API处理批流一体场景;2) 核心编程流程:环境获取→数据输入→转换处理→结果输出→执行触发;3) 详细讲解Source算子(文件/集合/Socket/Kafka/自定义)、Transformation算子(map/flatMap/keyBy/reduce/window等)和Sink算子的使用方法;4) 重点分析生产环境常见问题如数据倾斜处理、Kaf

juniperhan的博客 411

SeaTunnel 2.3.12实战指南:轻量级数据集成与CDC生产落地

数据集成是现代数据平台中最基础、最高频也最易出错的核心环节,其本质是实现跨源异构系统的可靠数据搬运。传统方案如Flink CDC或Spark虽能力强大,但资源开销大、运维复杂;而SeaTunnel作为专注Data Movement Layer的轻量级编排引擎,以配置即代码(YAML)、插件化架构和Exactly-Once语义保障,显著降低同步链路构建门槛。尤其在实时场景下,其内置Debezium支持的MySQL/PostgreSQL CDC、断点续传与Watermark机制,使增量同步具备生产级稳定性;结合

weixin_33980459的博客 416

大数据Flink(四十七):扩展阅读 File Sink

之前发布的 Flink 版本中[1],已经支持了 source connector 工作在流批两种模式下,因此在 Flink 1.12 中,社区着重实现了统一的 Data Sink API(FLIP-143)。Sink 的实现者只需要定义 what 和 how:SinkWriter,用于写数据,并输出需要 commit 的内容(例如,committables);Flink 1.12的 FileSink 为批处理和流式处理提供了一个统一的接收器,它将分区文件写入Flink文件系统抽象所支持的文件系统。

Lansonli(蓝深李)的博客 3342

Hadoop生态实战指南:从底层原理到电商全链路搭建

Hadoop生态并非孤立工具集合,而是围绕海量非结构化数据在廉价硬件上实现可靠存储、高效计算与实时服务的一整套工业级数据基础设施。其核心在于HDFS的分布式容错存储、YARN的统一资源调度、MapReduce奠定的批处理范式,以及Spark、Flink等引擎对延迟与一致性的分层优化。技术价值体现在解耦架构带来的资源复用性、跨组件协同形成的端到端数据闭环,以及面向业务场景(如实时风控、用户画像、OLAP分析)的精准能力匹配。本文以电商用户行为分析为典型场景,贯通Kafka接入、Flink实时处理、Hive数仓

weixin_33991418的博客 396

深圳地铁客流分析系统zip包拆解:大数据项目从验证到重构实战

大数据学习路线中,数据仓库与数据可视化是开发者绕不开的核心能力。一个完整的大数据项目,通常涵盖数据采集、清洗、入仓、分析计算到可视化呈现的全链路。以深圳地铁客流分析系统为例,这类项目压缩包往往包含从ODS到ADS的数仓分层设计、Spark离线计算任务以及ECharts可视化看板,是学习数据仓库与大数据开发的绝佳样本。从验证zip包完整性、梳理项目目录结构,到解决JDK、Spark、MySQL等组件版本兼容问题,再到还原AFC刷卡数据的清洗与指标计算逻辑,每一步都检验着大数据开发者的工程实践能力。基于真实业务

weixin_34176694的博客 394

剑指大数据:企业级数据仓库项目实战(金融租赁版)读书笔记__大数据测试集群的服务器节点服务分配规划表__解读(附:技术选型清单、数据同步工具选择)

本文展示了一个由3台服务器(hadoop102/103/104)组成的大数据测试集群服务部署方案。核心架构特点包括: 角色分工明确:hadoop102作为主控节点(部署NameNode、MySQL等16项服务),hadoop103专管资源调度(含ResourceManager),hadoop104承担辅助功能(如SecondaryNameNode); 关键分布式服务(DataNode、ZooKeeper等)采用三节点部署确保基础功能; 采用非高可用模式(单NameNode/RM),适合测试环境;

木木的学习笔记 87

flink-connector-files-1.14.3-API文档-中文版.zip

赠送jar包:flink-connector-files-1.14.3.jar 赠送原API文档:flink-connector-files-1.14.3-javadoc.jar 赠送源代码:flink-connector-files-1.14.3-sources.jar 包含翻译后的API文档:flink-connector-files-1.14.3-javadoc-API文档-中文(简体)版.zip 对应Maven信息:groupId:org.apache.flink,artifactId:flink-connector-files,version:1.14.3 使用方法:解压翻译后的API文档,用浏览器打开“index.html”文件,即可纵览文档内容。 人性化翻译,文档中的代码和结构保持不变,注释和说明精准翻译,请放心使用。

DS18B20温度传感器项目实战:从驱动编写到LCD显示,打造你的第一个温控系统

本文详细介绍了如何使用DS18B20温度传感器和LCD1602显示屏构建一个完整的温控系统。从硬件连接、OneWire协议实现到温度数据采集与LCD显示,全面解析了系统整合与工程化实现的关键步骤,帮助开发者快速掌握嵌入式温度监测系统的开发技巧。

weixin_42525328的博客 350

59、Flink 的项目配置 Connector 和 Format 详解

Flink 的项目配置 Connector 和 Format 详解

猫猫爱吃小鱼粮 961

DBeaver配置本地mysql-connector驱动文件

本文摘要:介绍了数据库驱动管理的基本操作步骤:1)新建驱动管理器,填写MySQL驱动名称、类名和类型;2)添加本地MySQL驱动文件;3)创建数据库连接并测试。适用于MySQL5.x和8.x版本,帮助用户快速配置数据库连接。

litlit023的专栏 1700

【Flink connector】文件系统 SQL 连接器:实时写文件系统以及(kafka到hive)实战举例

【Flink connector】文件系统 SQL 连接器:实时写文件系统以及(kafka到hive)实战举例

hiliang521的博客 2052

【DRAM存储器六十二】DDR5介绍--引脚和基本功能简介

详述DDR5与DDR4的引脚区别和DDR5基本功能

highman110的博客 533

手把手教你学Simulink——基于电机驱动系统的场景实例:轮毂电机在电动汽车中的分布式驱动控制仿真

本文详细介绍了基于MATLAB/Simulink和Simscape Electrical的电动汽车轮毂电机分布式驱动控制系统建模方法。内容包括系统结构设计(轮毂电机、逆变器、控制器等模块)、完整的建模过程(从基础模块导入到车辆动力学建模)、控制器设计与转矩分配策略实现,以及仿真参数设置与结果分析。通过仿真验证了该分布式驱动系统在速度跟踪、转弯性能等方面的优异表现,为电动汽车驱动系统的研究与开发提供了有效的仿真验证平台。文中还提供了相关代码示例和资料推荐,是学习Simulink电机控制系统建模的实用指南。

MHD0815的博客 4915
上一篇: Elasticsearch 可搜索快照技术原理及最 佳实践
下一篇: EventBridge 实践场景:流计算 Oceanus 告警消息实时推送
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值