flink读写MySQL的两种方式

最新推荐文章于 2025-05-14 14:10:58 发布
最新推荐文章于 2025-05-14 14:10:58 发布
阅读量4.4k 收藏 13
点赞数 2
CC 4.0 BY-SA版权
分类专栏： flink 文章标签： flink java mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ASN_forever/article/details/106023235
本文详细介绍了在Flink中实现MySQL数据读写的三种方法，包括使用内置的JDBC组件、自定义source和sink，以及通过DDL语句进行操作。对比了不同方式下并行度设置的影响，并探讨了各方法的优缺点。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目前跑通的读写MySQL的方式有三种，一种是直接使用flink自带的JDBCInputFormat和JDBCOutputFormat，一种是自定义source和sink，最后一种是通过DDL连接MySQL进行读写（但是这种只在idea调试通了，打包上传后运行报错，因此比较的时候只比较前两种）。

引入依赖

<!-- https://mvnrepository.com/artifact/mysql/mysql-connector-java -->
<dependency>
	<groupId>mysql</groupId>
	<artifactId>mysql-connector-java</artifactId>
	<version>8.0.17</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.flink/flink-jdbc -->
<dependency>
	<groupId>org.apache.flink</groupId>
	<artifactId>flink-jdbc_2.12</artifactId>
	<version>1.10.0</version>
</dependency>

方式一：使用自带的JDBCInputFormat和JDBCOutputFormat

public class ReadWriteMysqlByJDBC {
    public static void main(String[] args) throws Exception {
        ExecutionEnvironment fbEnv = ExecutionEnvironment.getExecutionEnvironment();
        //需要与获取的字段一一对应，否则会取不到值
        TypeInformation[] fieldTypes = new TypeInformation[] {
                BasicTypeInfo.STRING_TYPE_INFO,
                BasicTypeInfo.STRING_TYPE_INFO,
                BasicTypeInfo.STRING_TYPE_INFO,
                BasicTypeInfo.STRING_TYPE_INFO,
                BasicTypeInfo.STRING_TYPE_INFO,
                BasicTypeInfo.STRING_TYPE_INFO,
                BasicTypeInfo.STRING_TYPE_INFO};
        RowTypeInfo rowTypeInfo = new RowTypeInfo(fieldTypes);

        //读mysql
        DataSet<Row> dataSource = fbEnv.createInput(JDBCInputFormat.buildJDBCInputFormat()
                .setDrivername("com.mysql.jdbc.Driver")
                .setDBUrl("jdbc:mysql://xxx/xxx")
                .setUsername("xxx")
                .setPassword("xxx")
                .setQuery("xxx")
                .setRowTypeInfo(rowTypeInfo)
                .finish());

        //写MySQL
        dataSource.output(JDBCOutputFormat.buildJDBCOutputFormat()
                .setDrivername("com.mysql.jdbc.Driver")
                .setDBUrl("jdbc:mysql://xxx/xxx")
                .setUsername("xxx")
                .setPassword("xxx")
                .setQuery("xxx")
                .finish());

        fbEnv.execute();
    }
}

设置并行度为2，show plan如下：

方式二：自定义source和sink

source

public class MysqlSource extends RichSourceFunction<SourceVo> {
    private static final Logger logger = LoggerFactory.getLogger(MysqlSource.class);

    private Connection connection = null;
    private PreparedStatement ps = null;

    @Override
    public void open(Configuration parameters) throws Exception {
        super.open(parameters);
        Class.forName("com.mysql.jdbc.Driver");//加载数据库驱动
        connection = DriverManager.getConnection("jdbc:mysql://xxx/xxx", "xxx", "xxx");//获取连接
        ps = connection.prepareStatement("xxx");
    }

    @Override
    public void run(SourceContext<SourceVo> ctx) throws Exception {
        try {
            ResultSet resultSet = ps.executeQuery();

            while (resultSet.next()) {
                SourceVo vo = new SourceVo();
                vo.setxxx(resultSet.getString("xxx"));
                ctx.collect(vo);
            }
        } catch (Exception e) {
            logger.error("runException:{}", e);
        }
    }

    @Override
    public void cancel() {
        try {
            super.close();
            if (connection != null) {
                connection.close();
            }
            if (ps != null) {
                ps.close();
            }
        } catch (Exception e) {
            logger.error("runException:{}", e);
        }
    }
}

sink

public class MysqlSink extends RichSinkFunction<SourceVo> {
    private Connection connection;
    private PreparedStatement preparedStatement;
    @Override
    public void open(Configuration parameters) throws Exception {
        super.open(parameters);
        // 加载JDBC驱动
        Class.forName("com.mysql.jdbc.Driver");
        // 获取数据库连接
        connection = DriverManager.getConnection("jdbc:mysql://xxx/xxx", "xxx", "xxx");//获取连接
        preparedStatement = connection.prepareStatement("xxx");
        super.open(parameters);
    }

    @Override
    public void close() throws Exception {
        super.close();
        if(preparedStatement != null){
            preparedStatement.close();
        }
        if(connection != null){
            connection.close();
        }
        super.close();
    }

    @Override
    public void invoke(SourceVo value, Context context) throws Exception {
        try {
            preparedStatement.setString(1,value.getxxx());         
            preparedStatement.executeUpdate();
        }catch (Exception e){
            e.printStackTrace();
        }
    }
}

main

public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment fsEnv = StreamExecutionEnvironment.getExecutionEnvironment();       
        DataStreamSource<SourceVo> source = fsEnv.addSource(new MysqlSource());
        source.addSink(new MysqlSink());
        fsEnv.execute();
    }

设置并行度为2，show plan如下： 

方式三：通过DDL读写mysql

public class ReadWriteMysqlByDDL {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment streamEnv = StreamExecutionEnvironment.getExecutionEnvironment();
        EnvironmentSettings fsSettings = EnvironmentSettings.newInstance().useOldPlanner().inStreamingMode().build();
        StreamTableEnvironment tableEnvironment = StreamTableEnvironment.create(streamEnv,fsSettings);
        String sourceTable ="CREATE TABLE sourceTable (\n" +
                "    FTableName VARCHAR,\n" +
                "    FECName VARCHAR\n" +
                ") WITH (\n" +
                "    'connector.type' = 'jdbc', -- 使用 jdbc connector\n" +
                "    'connector.url' = 'jdbc:mysql://xxx/xxx', -- jdbc url\n" +
                "    'connector.table' = 'xxx', -- 表名\n" +
                "    'connector.username' = 'xxx', -- 用户名\n" +
                "    'connector.password' = 'xxx', -- 密码\n" +
                "    'connector.write.flush.max-rows' = '1' -- 默认5000条，为了演示改为1条\n" +
                ")";
        tableEnvironment.sqlUpdate(sourceTable);
        String sinkTable ="CREATE TABLE sinkTable (\n" +
                "    FID VARCHAR,\n"+
                "    FRoomName VARCHAR\n" +
                ") WITH (\n" +
                "    'connector.type' = 'jdbc', -- 使用 jdbc connector\n" +
                "    'connector.url' = 'jdbc:mysql://xxx/xxx', -- jdbc url\n" +
                "    'connector.table' = 'xxx', -- 表名\n" +
                "    'connector.username' = 'xxx', -- 用户名\n" +
                "    'connector.password' = 'xxx, -- 密码\n" +
                "    'connector.write.flush.max-rows' = '1' -- 默认5000条，为了演示改为100条\n" +
                ")";

        tableEnvironment.sqlUpdate(sinkTable);
        String query = "SELECT FTableName as tableName,FECName as ecName FROM sourceTable";
        Table table = tableEnvironment.sqlQuery(query);
        table.filter("tableName === 'xxx'").select("'1',ecName").insertInto("sinkTable");

        streamEnv.execute();
    }
}

奇怪的是这种方式打包上传show plan的时候报错：

2020-05-22 12:09:48,198 WARN  org.apache.flink.runtime.webmonitor.handlers.JarPlanHandler   - Configuring the job submission via query parameters is deprecated. Please migrate to submitting a JSON request instead.
2020-05-22 12:09:48,201 WARN  org.apache.flink.runtime.webmonitor.handlers.JarPlanHandler   - Configuring the job submission via query parameters is deprecated. Please migrate to submitting a JSON request instead.
2020-05-22 12:09:48,201 WARN  org.apache.flink.runtime.webmonitor.handlers.JarPlanHandler   - Configuring the job submission via query parameters is deprecated. Please migrate to submitting a JSON request instead.
2020-05-22 12:09:48,372 ERROR org.apache.flink.runtime.webmonitor.handlers.JarPlanHandler   - Unhandled exception.
org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: SQL validation failed. findAndCreateTableSource failed.
        at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:335)
        at org.apache.flink.client.program.PackagedProgram.invokeInteractiveModeForExecution(PackagedProgram.java:205)
        at org.apache.flink.client.program.OptimizerPlanEnvironment.getPipeline(OptimizerPlanEnvironment.java:79)
        at org.apache.flink.client.program.PackagedProgramUtils.getPipelineFromProgram(PackagedProgramUtils.java:101)
        at org.apache.flink.client.program.PackagedProgramUtils.createJobGraph(PackagedProgramUtils.java:56)
        at org.apache.flink.runtime.webmonitor.handlers.utils.JarHandlerUtils$JarHandlerContext.toJobGraph(JarHandlerUtils.java:128)
        at org.apache.flink.runtime.webmonitor.handlers.JarPlanHandler.lambda$handleRequest$1(JarPlanHandler.java:100)
        at java.util.concurrent.CompletableFuture$AsyncSupply.run(CompletableFuture.java:1590)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
        at java.lang.Thread.run(Thread.java:748)
Caused by: org.apache.flink.table.api.ValidationException: SQL validation failed. findAndCreateTableSource failed.
        at org.apache.flink.table.calcite.FlinkPlannerImpl.validateInternal(FlinkPlannerImpl.scala:130)
        at org.apache.flink.table.calcite.FlinkPlannerImpl.validate(FlinkPlannerImpl.scala:105)
        at org.apache.flink.table.sqlexec.SqlToOperationConverter.convert(SqlToOperationConverter.java:124)
        at org.apache.flink.table.planner.ParserImpl.parse(ParserImpl.java:66)
        at org.apache.flink.table.api.internal.TableEnvironmentImpl.sqlQuery(TableEnvironmentImpl.java:464)
        at connector.mysql.ReadWriteMysqlByDDL.main(ReadWriteMysqlByDDL.java:44)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:321)
        ... 10 more
Caused by: org.apache.flink.table.api.TableException: findAndCreateTableSource failed.
        at org.apache.flink.table.factories.TableFactoryUtil.findAndCreateTableSource(TableFactoryUtil.java:55)
        at org.apache.flink.table.factories.TableFactoryUtil.findAndCreateTableSource(TableFactoryUtil.java:92)
        at org.apache.flink.table.catalog.DatabaseCalciteSchema.convertCatalogTable(DatabaseCalciteSchema.java:138)
        at org.apache.flink.table.catalog.DatabaseCalciteSchema.convertTable(DatabaseCalciteSchema.java:97)
        at org.apache.flink.table.catalog.DatabaseCalciteSchema.lambda$getTable$0(DatabaseCalciteSchema.java:86)
        at java.util.Optional.map(Optional.java:215)
        at org.apache.flink.table.catalog.DatabaseCalciteSchema.getTable(DatabaseCalciteSchema.java:76)
        at org.apache.calcite.jdbc.SimpleCalciteSchema.getImplicitTable(SimpleCalciteSchema.java:83)
        at org.apache.calcite.jdbc.CalciteSchema.getTable(CalciteSchema.java:289)
        at org.apache.calcite.sql.validate.EmptyScope.resolve_(EmptyScope.java:143)
        at org.apache.calcite.sql.validate.EmptyScope.resolveTable(EmptyScope.java:99)
        at org.apache.calcite.sql.validate.DelegatingScope.resolveTable(DelegatingScope.java:203)
        at org.apache.calcite.sql.validate.IdentifierNamespace.resolveImpl(IdentifierNamespace.java:105)
        at org.apache.calcite.sql.validate.IdentifierNamespace.validateImpl(IdentifierNamespace.java:177)
        at org.apache.calcite.sql.validate.AbstractNamespace.validate(AbstractNamespace.java:84)
        at org.apache.calcite.sql.validate.SqlValidatorImpl.validateNamespace(SqlValidatorImpl.java:1008)
        at org.apache.calcite.sql.validate.SqlValidatorImpl.validateQuery(SqlValidatorImpl.java:968)
        at org.apache.calcite.sql.validate.SqlValidatorImpl.validateFrom(SqlValidatorImpl.java:3122)
        at org.apache.calcite.sql.validate.SqlValidatorImpl.validateFrom(SqlValidatorImpl.java:3104)
        at org.apache.calcite.sql.validate.SqlValidatorImpl.validateSelect(SqlValidatorImpl.java:3376)
        at org.apache.calcite.sql.validate.SelectNamespace.validateImpl(SelectNamespace.java:60)
        at org.apache.calcite.sql.validate.AbstractNamespace.validate(AbstractNamespace.java:84)
        at org.apache.calcite.sql.validate.SqlValidatorImpl.validateNamespace(SqlValidatorImpl.java:1008)
        at org.apache.calcite.sql.validate.SqlValidatorImpl.validateQuery(SqlValidatorImpl.java:968)
        at org.apache.calcite.sql.SqlSelect.validate(SqlSelect.java:216)
        at org.apache.calcite.sql.validate.SqlValidatorImpl.validateScopedExpression(SqlValidatorImpl.java:943)
        at org.apache.calcite.sql.validate.SqlValidatorImpl.validate(SqlValidatorImpl.java:650)
        at org.apache.flink.table.calcite.FlinkPlannerImpl.validateInternal(FlinkPlannerImpl.scala:126)
        ... 20 more
Caused by: org.apache.flink.table.api.NoMatchingTableFactoryException: Could not find a suitable table factory for 'org.apache.flink.table.factories.TableSourceFactory' in
the classpath.

Reason: Required context properties mismatch.

The following properties are requested:
connector.password=xxx
connector.table=xxx
connector.type=jdbc
connector.url=jdbc:mysql://xxx/xxx
connector.username=xxx
connector.write.flush.max-rows=100
schema.0.data-type=VARCHAR(2147483647)
schema.0.name=FTableName
schema.1.data-type=VARCHAR(2147483647)
schema.1.name=FECName

The following factories have been considered:
org.apache.flink.streaming.connectors.kafka.KafkaTableSourceSinkFactory
org.apache.flink.table.sources.CsvBatchTableSourceFactory
org.apache.flink.table.sources.CsvAppendTableSourceFactory
        at org.apache.flink.table.factories.TableFactoryService.filterByContext(TableFactoryService.java:322)
        at org.apache.flink.table.factories.TableFactoryService.filter(TableFactoryService.java:190)
        at org.apache.flink.table.factories.TableFactoryService.findSingleInternal(TableFactoryService.java:143)
        at org.apache.flink.table.factories.TableFactoryService.find(TableFactoryService.java:96)
        at org.apache.flink.table.factories.TableFactoryUtil.findAndCreateTableSource(TableFactoryUtil.java:52)
        ... 47 more

暂时不知道是什么原因

比较

  1. 如果不设置并行度，则两种方式的source和sink并行度都是1（默认）
  2. 如果设置多并行度，则方式一的source会采用设置的并行度读数据，会造成数据重复读，而方式二不会
  3. 对于第一种方式，读取的数据以ROW类型返回，且写入时也必须为ROW类型，不方便使用pojo 
  4. 方式一返回的是DataSet，方式二返回的是DataStreamSource
  5. 方式一需要为每个字段指定类型BasicTypeInfo，如果字段比较多，则不太方便
【大数据】Flink CDC 实时同步mysql数据
congge
10-07 1万+
Flink CDC 实时同步mysql数据
Flink 读写Kafka总结
主要分享大数据相关的知识，如Spark、Hudi
07-05 2145
总结Flink读写Kafka。
FlinkSQL 读写 MySQL
L, there!
10-22 7729
package com.sm.job import com.sm.utils.FlinkUtils import org.apache.flink.streaming.api.scala._ import org.apache.flink.table.api.bridge.scala.StreamTableEnvironment import org.apache.log4j.Level import org.slf4j.LoggerFactory /** * flinkSQL 读写 mysql .
Flink SQL1.12 读取Mysql，写到Kafka、Hbase
weixin_43039757的博客
01-19 4380
Flink SQL1.12 读取Mysql，写到Kafka、Hbase概览 概览 使用flink sql1.12，读取mysql数据存储到kafka中，并将维度数据存储在hbase中。 今天有点累了，等有时间再补充吧2021-01-19
Flink实现基础地监听MySQL的CRUD操作
最新发布
zhuiyueya的博客
05-14 710
本文介绍了如何在Windows 11系统上使用Docker安装和配置Flink 1.18.1，并使其与宿主机上的MySQL 8.x数据库进行数据变更捕获（CDC）。首先，需要在MySQL中启用二进制日志（binlog）并配置为ROW格式，同时创建用于Flink访问的MySQL用户并授权。接着，通过Docker拉取Flink镜像并启动JobManager和TaskManager容器，确保Flink能够通过host.docker.internal访问宿主机上的MySQL服务。本文提供了详细的配置步骤和命令，适合
Flink 1.11.2 SQL 读写 MySQL
Li_Jian_Hui_的博客
02-07 3070
FlinkSQL读取MySQL大多用作维表关联， 聚合结果写入MySQL，简单记录一下用法。 JDBC SQL Connector 添加依赖 <groupId>org.apache.flink</groupId> <artifactId>flink-connector-jdbc_2.12</artifactId> <version>1.11.2</version> .
flink学习35：flinkSQL查询mysql
hzp666的博客
02-02 1936
import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment import org.apache.flink.table.api.EnvironmentSettings import org.apache.flink.table.api.bridge.scala.{StreamTableEnvironment, tableConversions}object sqlQueryTable { def main(args: Ar
flink 1.10 sql 方式 读取 mysql
我的博客
11-05 743
ddl 方式 package com.jq.wc import org.apache.flink.streaming.api.scala._ import org.apache.flink.table.api.Table import org.apache.flink.table.api.scala._ object MysqlSource { def main(args: Array[String]): Unit = { val env: StreamExecutionEnvironmen
flink重复读取mysql_flink读写MySQL的两种方式
weixin_39970064的博客
01-30 763
2020-05-22 12:09:48,198 WARN org.apache.flink.runtime.webmonitor.handlers.JarPlanHandler - Configuring the job submission via query parameters is deprecated. Please migrate to submitting a JSON reques...
FLINK 1.12.2 jdbc读写mysql
arwenlin的博客
05-14 3750
FLINK读写MySQL的方式有三种，一种是直接使用flink自带的JDBCInputFormat和JDBCOutputFormat，另一种是自定义source和sink，第三种是通过DDL连接MySQL进行读写。第二种针对每个源表都要写自定义的source和sink类，不够灵活；第一种是通过DataSet API实现的；考虑到官网一直强调Table API的流批统一性，以及代码的简易程度，这里选择第三种方式DDL链接jdbc来读写mysql。 1.添加依赖 参照官网需要添加如下两个jar包mysql-
Flink常见输出（sink）算子使用教程（DataStream API）
SunnyRivers
08-22 198
一个 Flink 程序，其实就是对 DataStream 的各种转换。具体来说，代码基本上都由以下几部分构成，获取执行环境（execution environment）读取数据源（source）定义基于数据的转换操作（transformations）定义计算结果的输出位置（sink）触发程序执行（execute）Flink 作为数据处理框架，最终还是要把计算处理的结果写入外部存储，为外部应用提供支持，如上图所示。
Flink 读写MySQL数据（DataStream和Table API）
wank1259162的博客
06-24 9521
Flink提供了基于JDBC的方式，可以将读取到的数据写入到MySQL中；本文通过两种方式将数据下入到MySQL数据库，其他的基于JDBC的数据库类似，另外，Table API方式的Catalog指定为Hive Catalog方式，持久化DDL操作。Maven依赖，包含了Hive Catalog的相关依赖 DataStream方式读写MySQL数据 Table API的方式读写MySQL，其中Flink的Catalog使用Hive Catalog的方式 MySQL中的数据..........
2.3 如何使用FlinkSQL读取&写入到JDBC(MySQL)
向热爱自己一样，热爱这个世界。
10-18 5480
使用FlinkSQL读取&写入到JDBC(MySQL)
Flink java 之读取 MySQL 数据源
weixin_46376562的博客
07-02 1435
flink读取mysql数据
Flink CDC读取MySQL的例子
专注数据库、大数据领域干货分享，用严谨的数据技术广交天下朋友。
11-12 2249
前面转载了Flink CDC的...
Flink JDBCInputFormat并行度
黑暗之神的博客
08-05 1106
先贴出代码 public static void main(String[] args) { //System.getProperties().setProperty("oracle.jdbc.J2EE13Compliant", "true"); ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment(); int fetchSize = 7; N
Flink+JDBCInputFormat+Druid
Baron_ND的博客
07-22 2996
Flink是适合流计算和批处理，不管是哪种方式，主要的重点是对数据的处理计算。如果想作为一个web项目实时的访问某个数据库，这样的方式就会有点不太合适，但是也有更好的方式结合Druid使用，可以自行去优快云上下载https://www.iteye.com/resource/cx361006796-10638225 以下是两种方式去访问关系型数据库，一、自定义的Source,二、重写JDBCInputFormat然后在里面重写一些方法实现数据库连接池的修改。 Flink的自定义Source的方式实现连.
Flink DataStream使用JdbcInputFormat方式从Mysql读取数据
Bulut0907
11-29 1746
官网Jdbc DataStream Connector只有Sink，没有Source，所以需要用其它方式从Mysql查询数据。
flink批量写入oracle,flink批处理jdbcInputFormat获取oracle clob字段数据
weixin_34666478的博客
04-10 891
import org.apache.flink.api.common.typeinfo.BasicTypeInfo;import org.apache.flink.api.common.typeinfo.TypeInformation;import org.apache.flink.api.java.DataSet;import org.apache.flink.api.java.Executio...
Flink实现MySQL同步的必要组件包介绍
进行 Flink 同步 MySQL 数据库操作，不仅需要准备和配置上述提到的包文件，还需要了解相关技术的深层知识，包括 Flink 的核心架构、数据流处理的概念、数据库的同步机制以及与 MySQL 数据库交互的具体方式。...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值