flinkCDC同步doris

最新推荐文章于 2025-11-02 18:52:29 发布

原创

最新推荐文章于 2025-11-02 18:52:29 发布 · 1.3k 阅读

29 ·

CC 4.0 BY-SA版权

文章标签：

#database

概述

flinkCDC充分发挥了Debezium提供的能力

支持连接

flinkCDC与flink版本对照

特点：

支持读取数据库快照，即使发生故障也可只读取一次binlog。

DataStream API：用户可以在一个作业中使用多个数据库和表上的更改，而无需部署Debezium和Kafka。

Table/SQL API：用户可以使用SQL DDL创建CDC源来监视单个表上的更改

一、安装doris

安装doris

二、安装Flink

选择以下两种安装方式的一种
Flink Standalone-HA高可用集群模式
 Dlink

三、Flink-doris

1、下载

下载 - Apache Doris

从阿里maven仓库中下载jar
仓库服务
搜索flink-doris

四、flinkCDC

1、下载

Central Repository: com/ververica/flink-sql-connector-mysql-cdc

将两个jar包放入172、166、168三台服务器的flink/lib下

重启flink集群
bash /opt/software/flink/flink-1.17.0/bin/stop-cluster.sh
bash /opt/software/flink/flink-1.17.0/bin/start-cluster.sh

五、数据

1、Mysql数据准备

CREATE DATABASE emp_1;
 USE emp_1;
CREATE TABLE employees_1 (
  emp_no      INT             NOT NULL,
  birth_date  DATE            NOT NULL,
  first_name  VARCHAR(14)     NOT NULL,
  last_name   VARCHAR(16)     NOT NULL,
  gender      ENUM ('M','F')  NOT NULL,    
  hire_date   DATE            NOT NULL,
  PRIMARY KEY (emp_no)
);

INSERT INTO `employees_1` VALUES (10001,'1953-09-02','Georgi','Facello','M','1986-06-26'),
(10002,'1964-06-02','Bezalel','Simmel','F','1985-11-21'),
(10003,'1959-12-03','Parto','Bamford','M','1986-08-28'),
(10004,'1954-05-01','Chirstian','Koblick','M','1986-12-01'),
(10005,'1955-01-21','Kyoichi','Maliniak','M','1989-09-12'),
(10006,'1953-04-20','Anneke','Preusig','F','1989-06-02'),
(10007,'1957-05-23','Tzvetan','Zielinski','F','1989-02-10'),
(10008,'1958-02-19','Saniya','Kalloufi','M','1994-09-15'),
(10009,'1952-04-19','Sumant','Peac','F','1985-02-18'),
(10010,'1963-06-01','Duangkaew','Piveteau','F','1989-08-24'),
(10011,'1953-11-07','Mary','Sluis','F','1990-01-22'),
(10012,'1960-10-04','Patricio','Bridgland','M','1992-12-18'),
(10013,'1963-06-07','Eberhardt','Terkki','M','1985-10-20'),
(10014,'1956-02-12','Berni','Genin','M','1987-03-11'),
(10015,'1959-