用 flink 插件chunjun实现全量+增量同步-达梦数据库到postgresql

最新推荐文章于 2025-10-18 11:23:52 发布

原创

最新推荐文章于 2025-10-18 11:23:52 发布 · 1.7k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#flink #数据库 #大数据

文章介绍了如何利用纯钧数据集成框架，基于Flink实现实时将达梦数据库的SOURCE_TABLE表同步到PostgreSQL的SINK_TABLE，通过监控CREATE_TIME字段的增量更新进行数据同步和修改、添加操作。

用 flink 插件chunjun实现全量+增量同步，这里以达梦数据库同步到postgresql数据库为例。

纯钧下载地址：纯钧

纯钧是一款稳定、易用、高效、批流一体的数据集成框架，目前基于实时计算引擎Flink实现多种异构数据源之间的数据同步与计算，已在上千家公司部署且稳定运行。

达梦表ddl：

CREATE TABLE SYSDBA.SOURCE_TABLE (
	ID INT NOT NULL,
	NAME VARCHAR(100),
	CREATE_TIME INT,
	CONSTRAINT PK_SOURCE_TABLE_ID PRIMARY KEY (ID)
);
CREATE UNIQUE INDEX INDEX33555468 ON SYSDBA.SOURCE_TABLE (ID);

postgresql ddl:

CREATE TABLE public.SINK_TABLE (
	id int4 NOT NULL,
	"name" varchar(100) NULL,
	create_time int4 NULL,
	CONSTRAINT pk_SINK_TABLE_id2 PRIMARY KEY (id)
);

纯钧的sql：

create table SOURCE_TABLE(
    ID  INT, 
    NAME varchar(200),
    CREATE_TIME INT
    )
with (
      'connector' = 'dm-x',
      'url' = 'jdbc:dm://11.0.24.107:5