【YashanDB知识库】Flink CDC实时同步Oracle数据到崖山

概述

本文主要介绍通过flink cdc实现oracle数据实时同步到崖山，支持全量和增量，DML支持新增、修改和删除。

环境

JDK版本：11

Flink版本：1.18.1

flink-sql-connector-oracle-cdc版本：3.1.1

flink-connector-yashandb版本：1.18.1.1

Streampark版本：2.1.4

YMP版本：23.2.1.5

源Oracle版本：11.2.0.2.0

目标YashanDB版本：23.2.2.100

操作步骤

Oracle启用日志归档

Step1：以DBA权限登录Oracle数据库

sqlplus /nolog CONNECT sys/system AS SYSDBA

Step2：启用日志归档

-- 确认归档日志是否已开启，未开启则需开启 archive log list; -- 查看db_recovery_file_dest参数 show parameter db_recovery_file_dest; -- 设置数据库恢复文件目标大小为10G alter system set db_recovery_file_dest_size = 10G; -- 设置数据库恢复文件目标路径 alter system set db_recovery_file_dest = '/u01/app/oracle/fast_recovery_area' scope=spfile; -- 立即关闭数据库 shutdown immediate; -- 以mount模式启动数据库 startup mount; -- 启用数据库归档日志模式 alter database archivelog; -- 打开数据库，允许用户访问 alter database open; -- 再次确认归档日志是否已开启 archive log list;

用户赋权

Step1：创建表空间

-- 创建一个名为"logminer_tbs"的表空间 CREATE TABLESPACE logminer_tbs DATAFILE '/u01/app/oracle/oradata/XE/logminer_tbs.dbf' SIZE 25M REUSE AUTOEXTEND ON MAXSIZE UNLIMITED;

Step2：创建用户并赋予权限

-- 创建一个名为"flinkuser"的用户，密码为"flinkpw"，将其默认表空间设置为"LOGMINER_TBS"，并在该表空间上设置无限配额。 CREATE USER flinkuser IDENTIFIED BY flinkp