FLinkCDC

原创 已于 2023-11-03 10:36:52 修改 · 786 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#FlinkCDC

于 2023-10-25 15:25:55 首次发布

序言

CDC 是 Change Data Capture（变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。

参考资料:

  1. CDC Connectors for Apache Flink® — CDC Connectors for Apache Flink® documentation  --官网首页
  2. Oracle CDC Connector — CDC Connectors for Apache Flink® documentation     这是官网的详细配置
  3. flink oracle cdc实时同步（超详细）-优快云博客 写的很详细 

待确认

如下在执行到这个步骤的时候,是否可以只开启对应表的日志,二部启用数据库的日志,以减少对磁盘空间的占用cuiyaonan20000@163.com

初识FlinkCDC
qq_30198507的博客
01-03 1234
FlinkCDC (Flink Change Data Capture) 是一个基于 Apache Flink 的开源项目，是flink生态的一部分，利用flink强大的流处理能力，能实时数据变更捕获和同步。它主要用于从数据库中捕获变更数据，并将这些变更数据流式地传输到流处理引擎中，以便进行实时处理、分析和同步。FlinkCDC 可以监控数据库中的表，并实时捕获表中的 INSERT、UPDATE、DELETE 等数据变更操作，将这些变更以流的形式传输给 Flink 流处理引擎。
flinkCDC同步doris
eagle89的专栏
07-02 1364
flinkCDC同步doris
FlinkCDC
weixin_53724418的博客
04-27 827
首先进行说明 当需要对字段进行修改的时候只能使用Doris的模型实现。
FlinkCDC 达梦数据库实时同步
ytp552200ytp的博客
12-09 5965
FlinkCDC 达梦数据库基于日志解析的实时同步程序，支持JAVA程序和SQL。
flinkCDC
2301_78959404的博客
04-06 812
在 Flink 1.11 引入了 CDC 机制，CDC 的全称是 Change Data Capture，核心思想是:监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费，是目前非常成熟的同步数据库变更方案。
速通FlinkCDC3.0
m0_62569064的博客
04-21 607
FlinkCDC（Flink Change Data Capture）是一个用于实时捕获数据库变更日志的工具，它可以将数据库的变更实时同步到ApacheFlink系统中。
FLinkCDC简介
IT深耕十余载，大道之简
05-17 704
Flink CDC（Change Data Capture）是一个基于Apache Flink构建的开源数据变更捕获（CDC）框架。其核心功能是从各种关系型数据库（如MySQL、PostgreSQL、Oracle等）中捕获数据变更（如增删改操作），并将这些变更以流的形式提供给Flink等流处理引擎进行处理。以下是关于Flink CDC的详细阐述：基本概念：实现原理：主要特点：应用场景：总之，Flink CDC是一个功能强大、性能优越的数据变更捕获框架，可以帮助企业实现实时数据处理、数据同步、实时监控等功能，
flinkCDC+doris
Rainbow的博客
06-28 1466
flinkCDC充分发挥了Debezium提供的能力支持连接flinkCDC与flink版本对照。
FlinkCDC部署
ArYe
12-10 3087
FLINK-CDC FlinkCDC
精选资源
FlinkCDC 达梦数据库 基于日志实时同步
12-09
FlinkCDC是Apache Flink中的一个组件，它能够实现对多种数据库的变更数据捕获（Change Data Capture, CDC）。达梦数据库（DMDatabase）是中国自主研发的高性能数据库产品，广泛应用于政府、金融、交通、医疗等领域。...
FlinkCDC3.2.1连接oracle11g的jar依赖
最新发布
04-29
本文所提及的FlinkCDC3.2.1连接oracle11g的jar依赖，指的是为Flink CDC 3.2.1版本添加Oracle 11g数据库连接功能所需的jar包。为了在Flink中使用Oracle CDC连接器，需要将特定版本的jar包文件放到Flink的lib目录下，...
精选资源
基于Flink+FlinkCDC+FlinkSQL+Clickhouse构建实时数据仓库课程
10-26
在构建实时数据仓库的过程中，Flink、FlinkCDC、FlinkSQL和Clickhouse这四个关键技术起着至关重要的作用。本文将深入探讨这些技术，并结合2022年新课中的内容，详细介绍如何利用它们构建高效的实时数据处理系统。 ...
精选资源
大数据FlinkCDC3.0实战：从flinkcdc基础到进阶，深入解读DataStream和FlinkSQL 应用（资料视频）
04-30
这个资源提供了一系列关于大数据流处理框架FlinkCDC 3.0的实战教程，从基础到进阶，涵盖了DataStream和FlinkSQL的深入解读和应用。资源包括了详细的资料和相关视频，帮助学习者全面掌握FlinkCDC 3.0的使用和应用。 ...
spark简介
热门推荐
难得糊涂
04-23 1万+
序言 Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。 Spark 是一种与 Hadoop 相
Flink简介
难得糊涂
03-03 9487
序言 大数据运算主要有2个领域：1：流式计算 2：批量计算。在数据操作层面可以看做如下的两类 有限数据集：数据大小有限（固定大小，比如固定的文件），用于批处理， 无限数据集：数据持续增长（属于无限大小，比如kafka中的日志数据，总是有新数据进入，并且不知道什么时候结束或者是永远不结束），用于流式处理。（Storm就是流式处理的解决方案） 参考文章： https://flink.apache.org/zh/flink-architecture.html ...
Flink集群搭建
难得糊涂
03-05 7519
序言 Flink 是一个分布式系统，需要有效分配和管理计算资源才能执行流应用程序。（这句话很重要，资源计算，资源的分配不是Flink当前强项cuiyaonan2000@163.com） 它集成了所有常见的集群资源管理器，例如Hadoop YARN、Apache Mesos和Kubernetes，但也可以设置作为独立集群甚至库运行。-----------------------Flink推荐YARN，K8S，Mesos的资源管理器，同时自己也提供自己的资源管理器 Flink的集群环境根据有三种形式：
Hive On Spark
难得糊涂
11-30 5225
序言 之前写的一篇Ⅰ.今天看了一下感觉有很多不完善和错误的地方.这里在写一篇cuiyaonan2000@163.com 两者可以结合一起看用于理解学习 Hive On Spark 这个意思是将Hive的执行引擎替换成spark. 默认的是MR,且我们在启动Hive的时候会看到如下的内容(所以我们应该用spark来做为执行引擎cuiyaonan2000@163.com) 既然要换成spark,那我们知道Hadoop自带的Mr是不能用了,且不包含spark的相关服务,所以配置修改,增加spa.
Flink 流数据处理
难得糊涂
03-04 3943
序言 基于官网教程整理的一个教程。基于Flink1.12.0版本。 参考资料： https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/try-flink/index.html ------官网安装教程 流定义 在自然环境中，数据的产生原本就是流式的。无论是来自 Web 服务器的事件数据，证券交易所的交易数据，还是来自工厂车间机器上的传感器数据，其数据都是流式的。但是...
Flink TableAPI Description Ⅱ
难得糊涂
03-24 3464
基于最新的v1.14.4 梳理下批流统一的用法cuiyaonan2000@163.com官方的文档看的头晕,要把所有的都穿起来还是有难度.先基于其它码友的经验文章,在去看官网我觉得效果更好.批流统一总的来说,使用上层的API以操作传统关系型数据库表的方式来进行计算。
flinkcdc
03-12
### Flink CDC 使用指南 Flink CDC (Change Data Capture) 是一种用于实时捕获数据库变更的技术，能够将这些变更加载到其他存储系统中。这使得数据能够在不同系统之间保持同步。 #### 启动和停止本地集群设置 为了运行 Flink CDC 应用程序，在本地环境中准备并启动一个 Flink 集群是非常重要的。通常情况下，可以通过以下命令来完成这一过程： 对于启动集群： ```bash $ ./bin/start-cluster.sh ``` 而对于关闭集群，则可以执行如下指令： ```bash $ ./bin/stop-cluster.sh ``` 上述命令位于解压后的 Apache Flink 发行版目录下的 `bin` 文件夹中[^1]。 #### 提交 Flink CDC Job 一旦集群成功启动之后，就可以向其提交作业了。一般而言，会编写一段 Java 或者 Scala 的应用程序代码，并将其打包成 JAR 文件形式。接着利用下面这条命令来进行任务提交操作: ```bash $ ./bin/flink run -c com.example.YourMainClass path/to/your-job.jar --args value ``` 这里 `-c` 参数指定了包含 main 方法的类名；而后面的路径则是指向被打包好的 jar 包的位置。 #### Streaming ELT 实践案例 Streaming ELT（Extract, Load, Transform）是指在一个持续的数据流上进行抽取、加载以及转换的过程。具体来说就是从源表读取最新记录变化情况，经过处理后再写入目标位置。例如，可以从 MySQL 数据库获取最新的更新日志条目，再把这些变动反映给下游的目标端如 Elasticsearch 中去。 以下是创建这样一个流程的大致步骤概述： - **配置连接器**：定义好如何与外部系统的交互方式； - **构建逻辑管道**：设计出整个数据流转过程中所涉及的各种算子及其相互关系； - **部署上线**：把开发完毕的任务发布至生产环境当中去运行测试效果[^2]。 ```java // 创建 MySQL 连接上下文对象实例化语句片段展示 MySqlSource<String> mySqlSource = MySqlSource.<String>builder() .hostname("localhost") .port(3306) .databaseList("test_db") // 只监听 test_db 下所有表结构的变化事件 .tableList("test_db.t_user") // 如果只想关注某张特定表格的话则指定它即可 .username("root") .password("") .deserializer(new SimpleStringDeserializer()) .build(); ``` 以上代码展示了怎样建立同 MySQL 之间的通信桥梁部分的内容。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

cuiyaonan2000

给包烟抽吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值