【YashanDB知识库】Flink CDC实时同步Oracle数据到崖山

原创 于 2025-02-10 09:25:14 发布 · 1.1k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库 #崖山数据库 #YashanDB

概述

本文主要介绍通过flink cdc实现oracle数据实时同步到崖山，支持全量和增量，DML支持新增、修改和删除。

环境

JDK版本：11

Flink版本：1.18.1

flink-sql-connector-oracle-cdc版本：3.1.1

flink-connector-yashandb版本：1.18.1.1

Streampark版本：2.1.4

YMP版本：23.2.1.5

源Oracle版本：11.2.0.2.0

目标YashanDB版本：23.2.2.100

操作步骤

Oracle启用日志归档

Step1：以DBA权限登录Oracle数据库

sqlplus /nolog

CONNECT sys/system AS SYSDBA

Step2：启用日志归档

-- 确认归档日志是否已开启，未开启则需开启

archive log list;

-- 查看db_recovery_file_dest参数

show parameter db_recovery_file_dest;

-- 设置数据库恢复文件目标大小为10G

alter system set db_recovery_file_dest_size = 10G;

-- 设置数据库恢复文件目标路径

alter system set db_recovery_file_dest = '/u01/app/oracle/fast_recovery_area' scope=spfile;

-- 立即关闭数据库

shutdown immediate;

-- 以mount模式启动数据库

startup mount;

-- 启用数据库归档日志模式

alter database archivelog;

-- 打开数据库，允许用户访问

alter database open;

-- 再次确认归档日志是否已开启

archive log list;

用户赋权

Step1：创建表空间

-- 创建一个名为"logminer_tbs"的表空间

CREATE TABLESPACE logminer_tbs DATAFILE '/u01/app/oracle/oradata/XE/logminer_tbs.dbf' SIZE 25M REUSE AUTOEXTEND ON MAXSIZE UNLIMITED;

Step2：创建用户并赋予权限

-- 创建一个名为"flinkuser"的用户，密码为"flinkpw"，将其默认表空间设置为"LOGMINER_TBS"，并在
最低0.47元/天 解锁文章
Flink CDC实时同步mysql数据.docx
12-14
Flink CDC实时同步mysql数据 内容概要：本文介绍了 Apache Flink 的 Change Data Capture (CDC) 技术，它能实现实时捕获 MySQL 数据库的变化。文章详述了如何在 Flink 环境中配置和使用 CDC Connector 从 MySQL 获取...
Flink MySQL CDC 实时同步到 Kafka 解决方案
06-17
基于 Flink CDC 技术实现 MySQL 数据变更（增/删/改）实时同步至 Kafka，支持全量+增量数据捕获，容器化部署架构确保快速上手。 二、技术栈组成 通过 `docker-compose.yml` 编排以下服务： - MySQL 8.0 ：启用 ...
使用Flink CDC实现 Oracle数据库数据同步（非SQL）
老码农的博客
06-28 4455
Flink CDC 是一个基于流的数据集成工具，旨在为用户提供一套功能更加全面的编程接口（API）。该工具使得用户能够以 YAML 配置文件的形式实现数据库同步，同时也提供了Flink CDC Source Connector API。
FlinkCDC同步ORACLE至Apache Doris
qq_30198507的博客
01-03 4594
Apache Doris（以前称为Palo）是一个开源的大数据分析数据库项目，是由百度公司发起的一个分布式 SQL 数据仓库。它的设计目标是支持低延迟、高吞吐量的交互式 SQL 查询，可以用于实时报表、在线分析处理等场景。Apache Doris 提供了分布式的、可伸缩的架构，支持高并发的大规模数据查询和分析。它提供了高可靠性、容错性和高性能的特性，支持实时数据加载、提交、分析和查询。进一步地，Apache Doris 支持各种数据格式和数据源，包括结构化数据、半结构化数据和非结构化数据等。
使用Flink CDC实现 Oracle数据库数据同步的oracle配置操作
Java和大数据等相关的技术交流分享，欢迎关注交流
12-12 2537
使用Flink CDC实现 Oracle数据库数据同步的oracle配置操作，包括开启日志归档和用户授权具体操作。
Flink CDC 基于Oracle log archiving 实时同步Oracle表到Mysql（无主键）
qq_41875667的博客
06-26 2642
现在操作的是源表和目标表都无主键数据实时同步，其实是在flink建立和sink表的关联时，指定了主键，只不过是flink实时同步程序的需要，sink目标表没有主键。// 这使得LogMiner的挖掘速度大大提高，但代价是无法跟踪DDL的变化。//online_catalog -使用数据库的当前数据字典来解析对象id，并且不向在线重做日志中写入任何额外的信息。加上这俩个参数后，延迟应该就是1-3秒，如果不加的话，那就是几分钟的延迟了。本地测试是没有问题的，比起mysql稍微有点延迟，2. Mysql 建表。
flink oracle cdc实时同步（超详细）
阿甘兄
07-26 1万+
超详细讲解Oracle CDC实时同步
【大数据】Flink CDC 实时同步mysql数据
热门推荐
congge
10-07 1万+
Flink CDC 实时同步mysql数据
Flink CDC实时抽取 Oracle 数据实践
Auspicious航的博客
01-07 2537
Flink CDC实时抽取 Oracle 数据实践 Flink CDC 于 2021 年 11 月 15 日发布了最新版本 2.1，该版本通过引入内置 Debezium 组件，增加了对 Oracle 的支持。笔者第一时间下载了该版本进行试用并成功实现了对 Oracle 的实时数据捕获以及性能调优，现将试用过程中的一些关键细节进行分享。 说明：本文力求根据实际的问题排查经验，以及内部执行原理分享一些 “干货”，所以对 Flink CDC，以及其内置的 Debezium 模块的基础使用方法并未涉及，对于基础
Flink JDBC Connector 支持Oracle
06-14
Flink JDBC Connector 支持Oracle ， Flink 1.13.6 支持Oracle 11.2.0.4
flink-connector-debezium:此项目主要应用于数据中台或数据平台的数据总线，支持直接实时监听MySQL、MongoDB、PostgreSQL、Oracle、SQL Server、Db2和Cassandra等数据库的数据变更
05-31
Flink-connector-debezium 基于Red Hat开源的Debezium组件，和Flink结合，实现在Flink上直接监听各种数据库的Change Log，并且能够利用Flink的特性，输出到不同的位置上，以实现数据总线和实时数仓的构建。此项目主要应用于数据中台或数据平台中数据总线的基础底座。 目前Debezium支持了MySQL、MongoDB、PostgreSQL、Oracle、SQL Server、Db2和Cassandra。理论上此连接器也支援以上所有数据库。 Getting Started mvn clean package -DskipTests example 参考DebeziumSourceITCase
Flink connector Oracle CDC 实时同步数据到MySQL（Oracle19c）
Denny辉的博客
07-27 7777
注意不要使用Oracle的SYS和SYSTEM用户做为CDC用户。因为这两个用户能够捕获到大量Oracle数据库内部的变更信息，对于业务数据来说是不必要的。Debezium会过滤掉这两个用户捕获到的变更内容。'/opt/oracle/oradata/recovery_area'这个路径如果不存在的话需要自己手动去创建（Oracle用户下创建）FlinkconnectorOracleCDC实时数据同步到MySQL的操作就完成了；在这一步需要配置Oracle。创建从相应数据库表中捕获更改数据的表。......
阿里云Flink自定义oracle、mysql连接器
qq_40772429的博客
05-05 904
创建好后将刚刚的MySqlTableSourceFactory类原封不动的全部粘贴上去，这样我们从一个.class文件变成了自己的.java文件，再修改成自己想要的connector名，不能和mysql重名，例如我就叫mysql-test-cdc。公司刚入手阿里云的flink，不得不说flink全托管对于简单的数据同步是比较的友好，但是如果是用它来进行flink实时计算，那还是有点小问题，比如底层代码不给开发，只能让你配合它，最多给你个flink1.13或1.15版本选择等等。
flink1.14扩展JDBC连接器，使其支持ORACLE和SqlServer数据源
zhizhi120的博客
05-05 1167
flink1.14只支持Derby、mysql、postgresql 三种数据源，如果需要连接其他数据源就需要手工扩展。使用时还需要引入oracle驱动依赖,oracle需要注意不同版本的方法。
Flink SQL JDBC Oracle Connector自定义开发
wanghuan524的博客
06-14 2869
自定义开发Flink SQL JDBC Connector 支持Oracle
解决：Flink 1.12.0 SQL Connector支持 Oracle
zengjinbo1988的专栏
12-20 5403
问题描述： 由于现在还有很多公司在使用Oracle数据库，Flink SQL Connector却不支持，其中主要原因，猜测是开源版本的Flink中如果基于JDBC SQL Connector 写Dialect会有些bug没有解决。具体什么有些什么问题，怎么样处理，我这里就不仔细说了，太多了。 解决方案： 由于之前 我已经实现了Impala，SQL sever，已经不想再说具体实现思路了，直接上新版代码： 1.实现抽象AbstractDialect类并修改getUpsertStatement接口 /* *
Flink Oracle CDC Connector源码解读
IT_xhf的专栏
04-25 4138
flink cdc是在flink的基础上对oracle的数据进行实时采集，底层使用的是debezium框架来实现，debezium使用oracle自带的logminer技术来实现。logminer的采集需要对数据库和采集表添加补充日志，由于oracle18c不支持对数据添加补充日志，所以目前支持的oracle11、12、19三个版本。
flink自定义source读取oracle，自定义sink写入mysql
wq123123423432的博客
05-17 2170
** flink自定义source读取oracle，自定义sink写入mysql ** 在oracle和mysql数据库中创建相应的表 pom文件 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_2.11</artifactId> <version>
Flink CDC 基于Oracle log archiving 实时同步Oracle表到Mysql
qq_41875667的博客
06-26 4460
本地运行控制台是不会输出什么提示的，不像mysql cdc 还可以看到一些查看binlog日志信息。(2).注:必须为捕获的表或数据库启用补充日志记录，以便数据更改能够捕获已更改数据库行的之前状态。具体可用参数，可查官网，也可查阿里介绍，毕竟这是阿里大大的。下图是mysqlCDC的，可以看到有连接，有读取binlog日志，并且还可以打印，后续插表也正常。下图是有打印的，但是只能打印，后续插表动作就失效了。如果不打印，那就是什么都没有。具体对应数据类型，还需查看官网，最下面有列出所有对应的数据类型。
flink cdc 实时同步oracle数据doris ，oracle数据时刻在变化
最新发布
09-06
虽然提供的引用主要涉及Flink CDC同步MySQL数据到Doris，但可基于通用的Flink CDC同步思路来构建同步Oracle数据到Doris的解决方案。 ### 环境准备 首先需要部署好Doris和Flink环境。同时要获取必要的jar包，对于Oracle和Doris的连接，可能需要 `flink-sql-connector-oracle-cdc` 相关版本的jar包用于连接Oracle数据库获取实时变化数据，以及 `flink-doris-connector` 相关版本的jar包用于将数据写入Doris。例如可以参考类似的版本选择，可能需要使用如 `flink-sql-connector-oracle-cdc-3.0.0.jar` 和 `flink-doris-connector-1.19-1.6.0.jar` （具体版本需根据实际环境适配） [^1]。 ### 配置连接器 将上述获取的两个jar包放到Flink CDC的lib目录下，例如对于 `flink-cdc-3.0.0` ，把 `flink-sql-connector-oracle-cdc-3.0.0.jar` 和 `flink-doris-connector-1.19-1.6.0.jar` 放到 `flink-cdc-3.0.0/lib` 目录 [^1][^3]。 ### 编写Flink SQL 在Flink SQL中定义源表和目标表。 ```sql -- 定义Oracle源表 CREATE TABLE oracle_source_table ( -- 定义表中的字段，根据实际Oracle表结构来 id INT, name STRING, -- 其他字段... ) WITH ( 'connector' = 'oracle-cdc', 'hostname' = 'your_oracle_host', 'port' = 'your_oracle_port', 'username' = 'your_oracle_username', 'password' = 'your_oracle_password', 'database-name' = 'your_oracle_database', 'schema-name' = 'your_oracle_schema', 'table-name' = 'your_oracle_table' ); -- 定义Doris目标表 CREATE TABLE doris_sink_table ( id INT, name STRING, -- 其他字段... ) WITH ( 'connector' = 'doris', 'fenodes' = 'your_doris_fenodes', 'table.identifier' = 'your_doris_database.your_doris_table', 'username' = 'your_doris_username', 'password' = 'your_doris_password' ); -- 插入数据 INSERT INTO doris_sink_table SELECT * FROM oracle_source_table; ``` ### 提交任务 提交上述Flink SQL任务，确保在提交任务前，`flink-cdc` 对应版本的lib目录下有正确的连接器。例如如果是 `flink-cdc-3.1.0` ，要确保 `flink-cdc-3.1.0/lib` 目录下有对应的 `flink-cdc-pipeline-connector-oracle` 和 `flink-cdc-pipeline-connector-doris` 版本的jar包（版本需根据实际情况适配） [^2]。 ### 监控 对同步任务进行监控，观察是否有数据正常同步，以及是否有报错信息等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值