flink通过binlog实现mysql为数据源的实时计算

嘎子吱吱吱吱

于 2021-05-28 14:31:19 发布

阅读量5.8k

点赞数

文章标签： flink mysql linux

本文链接：https://blog.youkuaiyun.com/weixin_43943806/article/details/117361641

版权

该博客介绍了如何配置和使用Flink CDC连接器从MySQL的binlog中读取变更数据，并通过JDBC连接器将这些实时数据写入到另一个MySQL实例的索引测试库中。主要步骤包括：开启MySQL binlog，设置Flink环境，引入相关依赖，定义source和sink的Flink表，并进行数据插入操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前提条件

1.开通了mysql的binlog
2.有flink的环境

需要的依赖包

 		<dependency>
            <groupId>com.alibaba.ververica</groupId>
            <artifactId>flink-connector-mysql-cdc</artifactId>
            <version>1.3.0</version>
        </dependency>

具体的实现

create table t_table (
id INT,name STRING)
WITH (
'connector' =  'mysql-cdc',
'hostname' =  '10.130.5.78',
'port' =  '13306',
'username' =  'flink',
'password' =  'flink',
'table-name' =  't_table',
'database-name' =  'flink'
);
-- sink
create table t_table2 (
id INT primary key,name STRING)
WITH (
'connector' =  'jdbc',
'url' =  'jdbc:mysql://10.130.5.61:3306/index_test?useUnicode=true&characterEncoding=utf8&useSSL=false',
'table-name' =  't_table2',
'username' =  'root',
'password' =  'infoCenter.2020'
);
insert into t_table2 select id,name from t_table;