flink cdc 没有Replication client ,Replication slave权限,报错,处理

博客内容讲述了在使用Flink CDC从MySQL读取数据时遇到的权限问题,用户缺少Replicationclient和Replicationslave权限导致无法正常同步。通过授权命令`grant Replicationclient on *.* to ods_base@'%';`和`grant Replicationslave on *.* to ods_base@'%';`并执行`flush privileges;`来解决这个问题。错误信息显示了SQLSyntaxErrorException和ConnectException,提示需要SUPER或REPLICATIONCLIENT, REPLICATIONSLAVE权限。

项目场景:

fiink cdc 的表用户,需要有Replication client ,Replication slave权限。
授权命令如下:
grant Replication client on . to ods_base@‘%’;
grant replication slave on . to ods_base@‘%’;
flush privileges;


问题描述

flink cdc读取mysql数据,没有往外写数据,页面的状态显示正常,但日志报错。

Caused by: org.apache.flink.util.FlinkRuntimeException: Cannot read the binlog filename and position via 'SHOW MASTER STATUS'. Make sure your server is correctly configured
	at com.ververica.cdc.connectors.mysql.debezium.DebeziumUtils.currentBinlogOffset(DebeziumUtils.java:122) ~[flink-sql-connector-mysql-cdc-2.2-SNAPSHOT.jar:2.2-SNAPSHOT]
	at com.ververica.cdc.connectors.mysql.debezium.task.MySqlSnapshotSplitReadTask.doExecute(MySqlSnapshotSplitReadTask.java:139) ~[flink-sql-connector-mysql-cdc-2.2-SNAPSHOT.jar:2.2-SNAPSHOT]
	at com.ververica.cdc.connectors.mysql.debezium.task.MySqlSnapshotSplitReadTask.execute(MySqlSnapshotSplitReadTask.java:115) ~[flink-sql-connector-mysql-cdc-2.2-SNAPSHOT.jar:2.2-SNAPSHOT]
	... 6 more
Caused by: java.sql.SQLSyntaxErrorException: Access denied; you need (at least one of) the SUPER, REPLICATION CLIENT privilege(s) for this operation
	at com.mysql.cj.jdbc.exceptions.SQLError.createSQLException(SQLError.java:120) ~[flink-sql-connector-mysql-cdc-2.2-SNAPSHOT.jar:2.2-SNAPSHOT]
	at com.mysql.cj.jdbc.exceptions.SQLError.createSQLException(SQLError.java:97) ~[flink
### Flink CDC MySQL 数据变更监听配置方法 Flink CDC 提供了一种高效、实时的方式来捕获 MySQL 数据库中的数据变更。以下是使用 Flink CDC 监听 MySQL 数据库变更的具体配置方法,适用于基于 Flink 的流处理应用。 #### 1. 环境准备与依赖配置 首先,确保已经安装并配置好了 Apache Flink 运行环境。然后,需要将 Flink CDCMySQL 连接器添加到项目中。如果你使用的是 Maven 项目,可以在 `pom.xml` 中添加如下依赖: ```xml <dependency> <groupId>com.alibaba.ververica</groupId> <artifactId>flink-connector-mysql-cdc_2.11</artifactId> <version>2.4.0</version> </dependency> ``` 如果使用 Flink SQL,则可以通过 Flink SQL CLI 或者 Table API 来实现,此时需确保 `flink-sql-connector-mysql-cdc` 已经被正确加载[^2]。 #### 2. 配置 MySQL数据库MySQL 方面,需要确保以下几点: - 启用二进制日志(Binary Log),并且格式为 `ROW` 模式。 - 创建一个用于连接 MySQL 的用户,并授予相应的权限,包括 `REPLICATION SLAVE`, `REPLICATION CLIENT`, `SELECT`, `RELOAD` 等权限。 - 配置 MySQL 的服务器 ID,确保每个 CDC 实例拥有唯一的 server-id。 示例的 MySQL 用户授权语句如下: ```sql CREATE USER 'flink_user'@'%' IDENTIFIED BY 'flink_pwd'; GRANT REPLICATION SLAVE, REPLICATION CLIENT, SELECT, RELOAD ON *.* TO 'flink_user'@'%'; FLUSH PRIVILEGES; ``` #### 3. 编写 Flink CDC 数据流程序 以下是一个基于 Flink DataStream API 的 Java 示例代码,展示如何使用 Flink CDC 监听 MySQL 表的变更数据: ```java import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.table.api.bridge.java.StreamTableEnvironment; public class FlinkCDCMySQLExample { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); StreamTableEnvironment tEnv = StreamTableEnvironment.create(env); // 创建 MySQL CDC 表 tEnv.executeSql( "CREATE TABLE mysql_cdc_source ( " + " id INT PRIMARY KEY," + " name STRING," + " age INT" + ") WITH ( " + " 'connector' = 'mysql-cdc'," + " 'hostname' = 'localhost'," + " 'port' = '3306'," + " 'database-name' = 'test_db'," + " 'table-name' = 'user_table'," + " 'username' = 'flink_user'," + " 'password' = 'flink_pwd'" + ")" ); // 查询并打印结果 tEnv.from("mysql_cdc_source").executeInsert("print").print(); env.execute("Flink CDC MySQL Example"); } } ``` 上述代码通过 Flink SQL 的方式定义了一个 MySQL CDC 数据源表,并将其内容输出到控制台[^2]。 #### 4. 配置参数说明 | 参数名 | 描述 | |--------|------| | `connector` | 指定连接器类型,此处为 `mysql-cdc` | | `hostname` | MySQL 数据库的主机地址 | | `port` | MySQL 数据库的端口号,默认为 `3306` | | `database-name` | 要监听的数据库名称 | | `table-name` | 要监听的数据表名称 | | `username` | MySQL 数据库的用户名 | | `password` | MySQL 数据库的密码 | 此外,还可以设置其他高级参数,如 `scan.startup.mode`(指定初始读取模式,如 latest、initial)、`debezium.database.server.id`(避免多个 CDC 实例冲突)等[^3]。 #### 5. 启动与监控 将程序打包并提交至 Flink 集群运行。可以通过 Flink Web UI 查看任务状态和日志信息,确保 CDC 连接正常建立,并能够持续捕获 MySQL 数据库中的变更事件。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值