flink读写MySQL的两种方式

Flink MySQL读写实践
最新推荐文章于 2025-10-13 19:56:16 发布
原创 最新推荐文章于 2025-10-13 19:56:16 发布 · 1.1w 阅读 · 20 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了使用Apache Flink读写MySQL数据的三种方法：利用内置的JDBCInputFormat和JDBCOutputFormat，自定义Source和Sink，以及通过DDL进行读写。详细展示了每种方法的实现代码，并对比了它们在并行度设置、数据类型处理和返回数据类型上的差异。

 

 

目前跑通的读写MySQL的方式有三种，一种是直接使用flink自带的JDBCInputFormat和JDBCOutputFormat，一种是自定义source和sink，最后一种是通过DDL连接MySQL进行读写（但是这种只在idea调试通了，打包上传后运行报错，因此比较的时候只比较前两种）。

引入依赖


 

  1. <!-- https://mvnrepository.com/artifact/mysql/mysql-connector-java -->

  2. <dependency>

  3. <groupId>mysql</groupId>

  4. <artifactId>mysql-connector-java</artifactId>

  5. <version>8.0.17</version>

  6. </dependency>

  7. <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-jdbc -->

  8. <dependency>

  9. <groupId>org.apache.flink</groupId>

  10. <artifactId>flink-jdbc_2.12</artifactId>

  11. <version>1.10.0</version>

  12. </dependency>

方式一：使用自带的JDBCInputFormat和JDBCOutputFormat


 

  1. public class ReadWriteMysqlByJDBC {

  2. public static void main(String[] args) throws Exception {

  3. ExecutionEnvironment fbEnv = ExecutionEnvironment.getExecutionEnvironment();

  4. //需要与获取的字段一一对应，否则会取不到值

  5. TypeInformation[] fieldTypes = new TypeInformation[] {

  6. BasicTypeInfo.STRING_TYPE_INFO,

  7. BasicTypeInfo.STRING_TYPE_INFO,

  8. BasicTypeInfo.STRING_TYPE_INFO,

  9. BasicTypeInfo.STRING_TYPE_INFO,

  10. BasicTypeInfo.STRING_TYPE_INFO,

  11. BasicTypeInfo.STRING_TYPE_INFO,

  12. BasicTypeInfo.STRING_TYPE_INFO};

  13. RowTypeInfo rowTypeInfo = new RowTypeInfo(fieldTypes);

  14.  

  15. //读mysql

  16. DataSet<Row> dataSource = fbEnv.createInput(JDBCInputFormat.buildJDBCInputFormat()

  17. .setDrivername("com.mysql.jdbc.Driver")

  18. .setDBUrl("jdbc:mysql://xxx/xxx")

  19. .setUsername("xxx")

  20. .setPassword("xxx")

  21. .setQuery("xxx")

  22. .setRowTypeInfo(rowTypeInfo)

  23. .finish());

  24.  

  25. //写MySQL

  26. dataSource.output(JDBCOutputFormat.buildJDBCOutputFormat()

  27. .setDrivername("com.mysql.jdbc.Driver")

  28. .setDBUrl("jdbc:mysql://xxx/xxx")

  29. .setUsername("xxx")

  30. .setPassword("xxx")

  31. .setQuery("xxx")

  32. .finish());

  33.  

  34. fbEnv.execute();

  35. }

  36. }

设置并行度为2，show plan如下：

方式二：自定义source和sink

source


 

  1. public class MysqlSource extends RichSourceFunction<SourceVo> {

  2. private static final Logger logger = LoggerFactory.getLogger(MysqlSource.class);

  3.  

  4. private Connection connection = null;

  5. private PreparedStatement ps = null;

  6.  

  7. @Override

  8. public void open(Configuration parameters) throws Exception {

  9. super.open(parameters);

  10. Class.forName("com.mysql.jdbc.Driver");//加载数据库驱动

  11. connection = DriverManager.getConnection("jdbc:mysql://xxx/xxx", "xxx", "xxx");//获取连接

  12. ps = connection.prepareStatement("xxx");

  13. }

  14.  

  15. @Override

  16. public void run(SourceContext<SourceVo> ctx) throws Exception {

  17. try {

  18. ResultSet resultSet = ps.executeQuery();

  19.  

  20. while (resultSet.next()) {

  21. SourceVo vo = new SourceVo();

  22. vo.setxxx(resultSet.getString("xxx"));

  23. ctx.collect(vo);

  24. }

  25. } catch (Exception e) {

  26. logger.error("runException:{}", e);

  27. }

  28. }

  29.  

  30. @Override

  31. public void cancel() {

  32. try {

  33. super.close();

  34. if (connection != null) {

  35. connection.close();

  36. }

  37. if (ps != null) {

  38. ps.close();

  39. }

  40. } catch (Exception e) {

  41. logger.error("runException:{}", e);

  42. }

  43. }

  44. }

sink


 

  1. public class MysqlSink extends RichSinkFunction<SourceVo> {

  2. private Connection connection;

  3. private PreparedStatement preparedStatement;

  4. @Override

  5. public void open(Configuration parameters) throws Exception {

  6. super.open(parameters);

  7. // 加载JDBC驱动

  8. Class.forName("com.mysql.jdbc.Driver");

  9. // 获取数据库连接

  10. connection = DriverManager.getConnection("jdbc:mysql://xxx/xxx", "xxx", "xxx");//获取连接

  11. preparedStatement = connection.prepareStatement("xxx");

  12. super.open(parameters);

  13. }

  14.  

  15. @Override

  16. public void close() throws Exception {

  17. super.close();

  18. if(preparedStatement != null){

  19. preparedStatement.close();

  20. }

  21. if(connection != null){

  22. connection.close();

  23. }

  24. super.close();

  25. }

  26.  

  27. @Override

  28. public void invoke(SourceVo value, Context context) throws Exception {

  29. try {

  30. preparedStatement.setString(1,value.getxxx());

  31. preparedStatement.executeUpdate();

  32. }catch (Exception e){

  33. e.printStackTrace();

  34. }

  35. }

  36. }

main


 

  1. public static void main(String[] args) throws Exception {

  2. StreamExecutionEnvironment fsEnv = StreamExecutionEnvironment.getExecutionEnvironment();

  3. DataStreamSource<SourceVo> source = fsEnv.addSource(new MysqlSource());

  4. source.addSink(new MysqlSink());

  5. fsEnv.execute();

  6. }

设置并行度为2，show plan如下： 

方式三：通过DDL读写mysql


 

  1. public class ReadWriteMysqlByDDL {

  2. public static void main(String[] args) throws Exception {

  3. StreamExecutionEnvironment streamEnv = StreamExecutionEnvironment.getExecutionEnvironment();

  4. EnvironmentSettings fsSettings = EnvironmentSettings.newInstance().useOldPlanner().inStreamingMode().build();

  5. StreamTableEnvironment tableEnvironment = StreamTableEnvironment.create(streamEnv,fsSettings);

  6. String sourceTable ="CREATE TABLE sourceTable (\n" +

  7. " FTableName VARCHAR,\n" +

  8. " FECName VARCHAR\n" +

  9. ") WITH (\n" +

  10. " 'connector.type' = 'jdbc', -- 使用 jdbc connector\n" +

  11. " 'connector.url' = 'jdbc:mysql://xxx/xxx', -- jdbc url\n" +

  12. " 'connector.table' = 'xxx', -- 表名\n" +

  13. " 'connector.username' = 'xxx', -- 用户名\n" +

  14. " 'connector.password' = 'xxx', -- 密码\n" +

  15. " 'connector.write.flush.max-rows' = '1' -- 默认5000条，为了演示改为1条\n" +

  16. ")";

  17. tableEnvironment.sqlUpdate(sourceTable);

  18. String sinkTable ="CREATE TABLE sinkTable (\n" +

  19. " FID VARCHAR,\n"+

  20. " FRoomName VARCHAR\n" +

  21. ") WITH (\n" +

  22. " 'connector.type' = 'jdbc', -- 使用 jdbc connector\n" +

  23. " 'connector.url' = 'jdbc:mysql://xxx/xxx', -- jdbc url\n" +

  24. " 'connector.table' = 'xxx', -- 表名\n" +

  25. " 'connector.username' = 'xxx', -- 用户名\n" +

  26. " 'connector.password' = 'xxx, -- 密码\n" +

  27. " 'connector.write.flush.max-rows' = '1' -- 默认5000条，为了演示改为100条\n" +

  28. ")";

  29.  

  30. tableEnvironment.sqlUpdate(sinkTable);

  31. String query = "SELECT FTableName as tableName,FECName as ecName FROM sourceTable";

  32. Table table = tableEnvironment.sqlQuery(query);

  33. table.filter("tableName === 'xxx'").select("'1',ecName").insertInto("sinkTable");

  34.  

  35. streamEnv.execute();

  36. }

  37. }

奇怪的是这种方式打包上传show plan的时候报错：


 

  1. 2020-05-22 12:09:48,198 WARN org.apache.flink.runtime.webmonitor.handlers.JarPlanHandler - Configuring the job submission via query parameters is deprecated. Please migrate to submitting a JSON request instead.

  2. 2020-05-22 12:09:48,201 WARN org.apache.flink.runtime.webmonitor.handlers.JarPlanHandler - Configuring the job submission via query parameters is deprecated. Please migrate to submitting a JSON request instead.

  3. 2020-05-22 12:09:48,201 WARN org.apache.flink.runtime.webmonitor.handlers.JarPlanHandler - Configuring the job submission via query parameters is deprecated. Please migrate to submitting a JSON request instead.

  4. 2020-05-22 12:09:48,372 ERROR org.apache.flink.runtime.webmonitor.handlers.JarPlanHandler - Unhandled exception.

  5. org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: SQL validation failed. findAndCreateTableSource failed.

  6. at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:335)

  7. at org.apache.flink.client.program.PackagedProgram.invokeInteractiveModeForExecution(PackagedProgram.java:205)

  8. at org.apache.flink.client.program.OptimizerPlanEnvironment.getPipeline(OptimizerPlanEnvironment.java:79)

  9. at org.apache.flink.client.program.PackagedProgramUtils.getPipelineFromProgram(PackagedProgramUtils.java:101)

  10. at org.apache.flink.client.program.PackagedProgramUtils.createJobGraph(PackagedProgramUtils.java:56)

  11. at org.apache.flink.runtime.webmonitor.handlers.utils.JarHandlerUtils$JarHandlerContext.toJobGraph(JarHandlerUtils.java:128)

  12. at org.apache.flink.runtime.webmonitor.handlers.JarPlanHandler.lambda$handleRequest$1(JarPlanHandler.java:100)

  13. at java.util.concurrent.CompletableFuture$AsyncSupply.run(CompletableFuture.java:1590)

  14. at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)

  15. at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)

  16. at java.lang.Thread.run(Thread.java:748)

  17. Caused by: org.apache.flink.table.api.ValidationException: SQL validation failed. findAndCreateTableSource failed.

  18. at org.apache.flink.table.calcite.FlinkPlannerImpl.validateInternal(FlinkPlannerImpl.scala:130)

  19. at org.apache.flink.table.calcite.FlinkPlannerImpl.validate(FlinkPlannerImpl.scala:105)

  20. at org.apache.flink.table.sqlexec.SqlToOperationConverter.convert(SqlToOperationConverter.java:124)

  21. at org.apache.flink.table.planner.ParserImpl.parse(ParserImpl.java:66)

  22. at org.apache.flink.table.api.internal.TableEnvironmentImpl.sqlQuery(TableEnvironmentImpl.java:464)

  23. at connector.mysql.ReadWriteMysqlByDDL.main(ReadWriteMysqlByDDL.java:44)

  24. at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)

  25. at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)

  26. at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)

  27. at java.lang.reflect.Method.invoke(Method.java:498)

  28. at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:321)

  29. ... 10 more

  30. Caused by: org.apache.flink.table.api.TableException: findAndCreateTableSource failed.

  31. at org.apache.flink.table.factories.TableFactoryUtil.findAndCreateTableSource(TableFactoryUtil.java:55)

  32. at org.apache.flink.table.factories.TableFactoryUtil.findAndCreateTableSource(TableFactoryUtil.java:92)

  33. at org.apache.flink.table.catalog.DatabaseCalciteSchema.convertCatalogTable(DatabaseCalciteSchema.java:138)

  34. at org.apache.flink.table.catalog.DatabaseCalciteSchema.convertTable(DatabaseCalciteSchema.java:97)

  35. at org.apache.flink.table.catalog.DatabaseCalciteSchema.lambda$getTable$0(DatabaseCalciteSchema.java:86)

  36. at java.util.Optional.map(Optional.java:215)

  37. at org.apache.flink.table.catalog.DatabaseCalciteSchema.getTable(DatabaseCalciteSchema.java:76)

  38. at org.apache.calcite.jdbc.SimpleCalciteSchema.getImplicitTable(SimpleCalciteSchema.java:83)

  39. at org.apache.calcite.jdbc.CalciteSchema.getTable(CalciteSchema.java:289)

  40. at org.apache.calcite.sql.validate.EmptyScope.resolve_(EmptyScope.java:143)

  41. at org.apache.calcite.sql.validate.EmptyScope.resolveTable(EmptyScope.java:99)

  42. at org.apache.calcite.sql.validate.DelegatingScope.resolveTable(DelegatingScope.java:203)

  43. at org.apache.calcite.sql.validate.IdentifierNamespace.resolveImpl(IdentifierNamespace.java:105)

  44. at org.apache.calcite.sql.validate.IdentifierNamespace.validateImpl(IdentifierNamespace.java:177)

  45. at org.apache.calcite.sql.validate.AbstractNamespace.validate(AbstractNamespace.java:84)

  46. at org.apache.calcite.sql.validate.SqlValidatorImpl.validateNamespace(SqlValidatorImpl.java:1008)

  47. at org.apache.calcite.sql.validate.SqlValidatorImpl.validateQuery(SqlValidatorImpl.java:968)

  48. at org.apache.calcite.sql.validate.SqlValidatorImpl.validateFrom(SqlValidatorImpl.java:3122)

  49. at org.apache.calcite.sql.validate.SqlValidatorImpl.validateFrom(SqlValidatorImpl.java:3104)

  50. at org.apache.calcite.sql.validate.SqlValidatorImpl.validateSelect(SqlValidatorImpl.java:3376)

  51. at org.apache.calcite.sql.validate.SelectNamespace.validateImpl(SelectNamespace.java:60)

  52. at org.apache.calcite.sql.validate.AbstractNamespace.validate(AbstractNamespace.java:84)

  53. at org.apache.calcite.sql.validate.SqlValidatorImpl.validateNamespace(SqlValidatorImpl.java:1008)

  54. at org.apache.calcite.sql.validate.SqlValidatorImpl.validateQuery(SqlValidatorImpl.java:968)

  55. at org.apache.calcite.sql.SqlSelect.validate(SqlSelect.java:216)

  56. at org.apache.calcite.sql.validate.SqlValidatorImpl.validateScopedExpression(SqlValidatorImpl.java:943)

  57. at org.apache.calcite.sql.validate.SqlValidatorImpl.validate(SqlValidatorImpl.java:650)

  58. at org.apache.flink.table.calcite.FlinkPlannerImpl.validateInternal(FlinkPlannerImpl.scala:126)

  59. ... 20 more

  60. Caused by: org.apache.flink.table.api.NoMatchingTableFactoryException: Could not find a suitable table factory for 'org.apache.flink.table.factories.TableSourceFactory' in

  61. the classpath.

  62.  

  63. Reason: Required context properties mismatch.

  64.  

  65. The following properties are requested:

  66. connector.password=xxx

  67. connector.table=xxx

  68. connector.type=jdbc

  69. connector.url=jdbc:mysql://xxx/xxx

  70. connector.username=xxx

  71. connector.write.flush.max-rows=100

  72. schema.0.data-type=VARCHAR(2147483647)

  73. schema.0.name=FTableName

  74. schema.1.data-type=VARCHAR(2147483647)

  75. schema.1.name=FECName

  76.  

  77. The following factories have been considered:

  78. org.apache.flink.streaming.connectors.kafka.KafkaTableSourceSinkFactory

  79. org.apache.flink.table.sources.CsvBatchTableSourceFactory

  80. org.apache.flink.table.sources.CsvAppendTableSourceFactory

  81. at org.apache.flink.table.factories.TableFactoryService.filterByContext(TableFactoryService.java:322)

  82. at org.apache.flink.table.factories.TableFactoryService.filter(TableFactoryService.java:190)

  83. at org.apache.flink.table.factories.TableFactoryService.findSingleInternal(TableFactoryService.java:143)

  84. at org.apache.flink.table.factories.TableFactoryService.find(TableFactoryService.java:96)

  85. at org.apache.flink.table.factories.TableFactoryUtil.findAndCreateTableSource(TableFactoryUtil.java:52)

  86. ... 47 more

  87.  

暂时不知道是什么原因

比较

  1. 如果不设置并行度，则两种方式的source和sink并行度都是1（默认）
  2. 如果设置多并行度，则方式一的source会采用设置的并行度读数据，会造成数据重复读，而方式二不会
  3. 对于第一种方式，读取的数据以ROW类型返回，且写入时也必须为ROW类型，不方便使用pojo 
  4. 方式一返回的是DataSet，方式二返回的是DataStreamSource
  5. 方式一需要为每个字段指定类型BasicTypeInfo，如果字段比较多，则不太方便
flink读mysql
u011624157的专栏
03-09 389
flink读取mysql需要继承RichSourceFunction，代码如下 import com.aibee.flinktemplate.model.GateEvent; import org.apache.flink.configuration.Configuration; import org.apache.flink.streaming.api.functions.source.Rich...
【大数据】Flink CDC 实时同步mysql数据
热门推荐
congge
10-07 1万+
Flink CDC 实时同步mysql数据
Flink 读写MySQL数据（DataStream和Table API）
wank1259162的博客
06-24 9641
Flink提供了基于JDBC的方式，可以将读取到的数据写入到MySQL中；本文通过两种方式将数据下入到MySQL数据库，其他的基于JDBC的数据库类似，另外，Table API方式的Catalog指定为Hive Catalog方式，持久化DDL操作。Maven依赖，包含了Hive Catalog的相关依赖 DataStream方式读写MySQL数据 Table API的方式读写MySQL，其中Flink的Catalog使用Hive Catalog的方式 MySQL中的数据..........
深入解析Paimon的Catalog（文件系统，JDBC，FlinkCatalog和孤儿文件）
最新发布
lifallen的博客
10-13 975
本文深入剖析了Paimon Catalog系统的实现架构。FlinkCatalog作为桥接层，通过适配器模式将Paimon的元数据管理能力暴露给Flink SQL引擎，实现了双向元数据转换、表操作代理和高级特性集成。文章详细解析了FileSystemCatalog和JdbcCatalog两种存储后端的实现差异，包括文件系统目录结构与JDBC元数据存储方案的对比。特别分析了分布式环境下的孤儿文件清理机制，以及基于ClientPool的连接池优化设计。整个系统采用模板方法模式、策略模式等设计模式
Flink读取Mysql数据库
Hello_World0825的博客
08-11 3175
Flink操作数据库并没有像Spark那样简洁方便，有点类似java操作mysql的思路。 pom依赖 <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11</artifactId> <version>1.
Flink——Flink读写MySQL
aof
12-13 542
package flink.batch; import com.alibaba.fastjson.JSON; import com.alibaba.fastjson.JSONObject; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.common.typeinfo.BasicTypeInfo; import org.apache.flink.api.common.typeinfo
Flink 读取 Mysql
SunnyRivers
10-23 3154
前言 离线分析一直用的Spark，而且感觉很不错的。不过在实时计算Flink显然比Spark更具有优势，而且Flink也支持离线分析，虽然还没有Spark这么强大，但是相信不远的将来完全在离线分析方面也有能力与其抗衡，因此测试了一下Flink to Mysql 代码 package dataset import org.apache.flink.api.common.typeinfo.Basic...
FLINK 1.12.2 jdbc读写mysql
arwenlin的博客
05-14 3789
FLINK读写MySQL的方式有三种，一种是直接使用flink自带的JDBCInputFormat和JDBCOutputFormat，另一种是自定义source和sink，第三种是通过DDL连接MySQL进行读写。第二种针对每个源表都要写自定义的source和sink类，不够灵活；第一种是通过DataSet API实现的；考虑到官网一直强调Table API的流批统一性，以及代码的简易程度，这里选择第三种方式DDL链接jdbc来读写mysql。 1.添加依赖 参照官网需要添加如下两个jar包mysql-
Flink 通过批量和CDC两种方式读取MySQL数据入Iceberg
wank1259162的博客
06-28 3568
Flink JDBC 连接器允许使用 JDBC 驱动程序从任何关系数据库读取数据并将数据写入其中。本文档介绍如何设置 JDBC 连接器以针对关系数据库运行 SQL 查询。如果在 DDL 上定义了主键，则 JDBC sink 以 upsert 模式与外部系统交换 UPDATE/DELETE 消息，否则，它以 append 模式运行，不支持消费 UPDATE/DELETE 消息。 测试代码 代码说明 1、hadoop catalog创建 创建脚本，warehouse的路径，它会自动创建HDFS路
Flink 读写Kafka总结
主要分享大数据相关的知识，如Spark、Hudi
07-05 2264
总结Flink读写Kafka。
（11）Flink实战-Mysql读取、写入-source+sink
allensandy的博客
06-10 2639
1、pom.xml <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.33</version> </dependency> 2、MysqlReader（sourc
flink读取mysql的数据
qq_45255036的博客
04-13 5742
flink读取mysql的数据 1.导入需要的依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11</artifactId> <version>1...
flink入门2-flink连接mysql完成读写操作
summon的博客
06-07 6674
本文将会实现flink连接MySQL，废话不多说，上代码。本文章中的数据库表名为token，只有两个字段code和state 2、读取数据源 3、更新和写入数据 4、启动类 5、source、sink介绍 sourcesink
学习笔记：Flink 读取和写入MySQL数据
瑞瑞ruirui的博客
07-12 1万+
实际开发中，经常会实时接收一些数据，要和MySQL中存储的一些规则进行匹配，那么这时候就可以使用 Flink 自定义数据源从MySQL
Flink 实践教程：入门（3）：读取 MySQL 数据
cloudbigdata的博客
10-31 2911
读取MySQL数据
FlinkSQL 读写 MySQL
L, there!
10-22 7765
package com.sm.job import com.sm.utils.FlinkUtils import org.apache.flink.streaming.api.scala._ import org.apache.flink.table.api.bridge.scala.StreamTableEnvironment import org.apache.log4j.Level import org.slf4j.LoggerFactory /** * flinkSQL 读写 mysql .
flink流处理访问mysql
u012447842的博客
04-10 1万+
业务场景如下： 概述：采集工厂设备的数据。 flink连接emqtt，采集工业物联网的数据，进行流处理，工厂设备数据内没有machID， 需要从mysq的设备信息基础表根据gateMac获取对应的machID。 访问mysql实现思路（一）： flink项目在初始化的时候从mysql获取所有设备的基础信息，所遇问题：如果新增一个设备，flink项目需要重启一次...
Flink 实践教程：入门：使用 Flink 读取 MySQL 数据
PmtxPhp的博客
09-18 1567
在本教程中，我们学习了如何使用 Flink 从 MySQL 数据库中读取数据的基本步骤。我们首先准备了运行 Flink 和连接 MySQL 数据库所需的环境，并导入了必要的依赖。此外，还可以使用 Flink 提供的其他功能和操作符来进一步处理和分析读取的数据。接下来，我们将编写 Flink 代码来读取 MySQL 数据库中的数据。查看结果：在 Flink 的日志输出或控制台输出中，你将看到从 MySQL 数据库读取的数据。Apache Flink：从 Flink 官方网站下载并安装最新版本的 Flink。
使用Apache Flink实现MySQL数据读取和写入的完整指南
lhyandlwl的博客
03-28 2965
在这里，我们计算了股票涨跌情况，并将结果写入到目标表中。在这个例子中，我们假设change_percent字段表示股票价格的变化百分比，rise字段为1表示股票上涨，为0表示股票下跌。同时需要提前创建好mysql表，一行source表，一张sink表。在这段代码中，我们首先创建了Flink的流式执行环境和StreamTableEnvironment。然后，我们定义了两个临时表，用于存储原始股票数据和清洗后的数据。接下来，我们执行数据清洗操作，并将结果写入目标表。最后，我们查询目标表并打印结果。
Flink 1.10版集成Hadoop与Hive三方Jar包指南
- **流处理与批处理**：Flink支持两种处理模式，流处理针对实时数据，而批处理针对静态数据集。 了解上述知识点能够帮助开发人员更好地理解在Flink 1.10环境中集成Hadoop和Hive生态系统所需的组件和配置，从而在...
评论 9
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值