flink读写MySQL的两种方式

【在Flink开发中,读取外部数据源MySQL数据的方法(scala编写)】 flink-Datastream_api中怎么把mysql作为source获取数据 阅读详情

 

 

目前跑通的读写MySQL的方式有三种,一种是直接使用flink自带的JDBCInputFormat和JDBCOutputFormat,一种是自定义source和sink,最后一种是通过DDL连接MySQL进行读写(但是这种只在idea调试通了,打包上传后运行报错,因此比较的时候只比较前两种)。

引入依赖


 
  1. <!-- https://mvnrepository.com/artifact/mysql/mysql-connector-java -->

  2. <dependency>

  3. <groupId>mysql</groupId>

  4. <artifactId>mysql-connector-java</artifactId>

  5. <version>8.0.17</version>

  6. </dependency>

  7. <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-jdbc -->

  8. <dependency>

  9. <groupId>org.apache.flink</groupId>

  10. <artifactId>flink-jdbc_2.12</artifactId>

  11. <version>1.10.0</version>

  12. </dependency>

方式一:使用自带的JDBCInputFormat和JDBCOutputFormat


 
  1. public class ReadWriteMysqlByJDBC {

  2. public static void main(String[] args) throws Exception {

  3. ExecutionEnvironment fbEnv = ExecutionEnvironment.getExecutionEnvironment();

  4. //需要与获取的字段一一对应,否则会取不到值

  5. TypeInformation[] fieldTypes = new TypeInformation[] {

  6. BasicTypeInfo.STRING_TYPE_INFO,

  7. BasicTypeInfo.STRING_TYPE_INFO,

  8. BasicTypeInfo.STRING_TYPE_INFO,

  9. BasicTypeInfo.STRING_TYPE_INFO,

  10. BasicTypeInfo.STRING_TYPE_INFO,

  11. BasicTypeInfo.STRING_TYPE_INFO,

  12. BasicTypeInfo.STRING_TYPE_INFO};

  13. RowTypeInfo rowTypeInfo = new RowTypeInfo(fieldTypes);

  14.  
  15. //读mysql

  16. DataSet<Row> dataSource = fbEnv.createInput(JDBCInputFormat.buildJDBCInputFormat()

  17. .setDrivername("com.mysql.jdbc.Driver")

  18. .setDBUrl("jdbc:mysql://xxx/xxx")

  19. .setUsername("xxx")

  20. .setPassword("xxx")

  21. .setQuery("xxx")

  22. .setRowTypeInfo(rowTypeInfo)

  23. .finish());

  24.  
  25. //写MySQL

  26. dataSource.output(JDBCOutputFormat.buildJDBCOutputFormat()

  27. .setDrivername("com.mysql.jdbc.Driver")

  28. .setDBUrl("jdbc:mysql://xxx/xxx")

  29. .setUsername("xxx")

  30. .setPassword("xxx")

  31. .setQuery("xxx")

  32. .finish());

  33.  
  34. fbEnv.execute();

  35. }

  36. }

设置并行度为2,show plan如下:

方式二:自定义source和sink

source


 
  1. public class MysqlSource extends RichSourceFunction<SourceVo> {

  2. private static final Logger logger = LoggerFactory.getLogger(MysqlSource.class);

  3.  
  4. private Connection connection = null;

  5. private PreparedStatement ps = null;

  6.  
  7. @Override

  8. public void open(Configuration parameters) throws Exception {

  9. super.open(parameters);

  10. Class.forName("com.mysql.jdbc.Driver");//加载数据库驱动

  11. connection = DriverManager.getConnection("jdbc:mysql://xxx/xxx", "xxx", "xxx");//获取连接

  12. ps = connection.prepareStatement("xxx");

  13. }

  14.  
  15. @Override

  16. public void run(SourceContext<SourceVo> ctx) throws Exception {

  17. try {

  18. ResultSet resultSet = ps.executeQuery();

  19.  
  20. while (resultSet.next()) {

  21. SourceVo vo = new SourceVo();

  22. vo.setxxx(resultSet.getString("xxx"));

  23. ctx.collect(vo);

  24. }

  25. } catch (Exception e) {

  26. logger.error("runException:{}", e);

  27. }

  28. }

  29.  
  30. @Override

  31. public void cancel() {

  32. try {

  33. super.close();

  34. if (connection != null) {

  35. connection.close();

  36. }

  37. if (ps != null) {

  38. ps.close();

  39. }

  40. } catch (Exception e) {

  41. logger.error("runException:{}", e);

  42. }

  43. }

  44. }

sink


 
  1. public class MysqlSink extends RichSinkFunction<SourceVo> {

  2. private Connection connection;

  3. private PreparedStatement preparedStatement;

  4. @Override

  5. public void open(Configuration parameters) throws Exception {

  6. super.open(parameters);

  7. // 加载JDBC驱动

  8. Class.forName("com.mysql.jdbc.Driver");

  9. // 获取数据库连接

  10. connection = DriverManager.getConnection("jdbc:mysql://xxx/xxx", "xxx", "xxx");//获取连接

  11. preparedStatement = connection.prepareStatement("xxx");

  12. super.open(parameters);

  13. }

  14.  
  15. @Override

  16. public void close() throws Exception {

  17. super.close();

  18. if(preparedStatement != null){

  19. preparedStatement.close();

  20. }

  21. if(connection != null){

  22. connection.close();

  23. }

  24. super.close();

  25. }

  26.  
  27. @Override

  28. public void invoke(SourceVo value, Context context) throws Exception {

  29. try {

  30. preparedStatement.setString(1,value.getxxx());

  31. preparedStatement.executeUpdate();

  32. }catch (Exception e){

  33. e.printStackTrace();

  34. }

  35. }

  36. }

main


 
  1. public static void main(String[] args) throws Exception {

  2. StreamExecutionEnvironment fsEnv = StreamExecutionEnvironment.getExecutionEnvironment();

  3. DataStreamSource<SourceVo> source = fsEnv.addSource(new MysqlSource());

  4. source.addSink(new MysqlSink());

  5. fsEnv.execute();

  6. }

设置并行度为2,show plan如下: 

方式三:通过DDL读写mysql


 
  1. public class ReadWriteMysqlByDDL {

  2. public static void main(String[] args) throws Exception {

  3. StreamExecutionEnvironment streamEnv = StreamExecutionEnvironment.getExecutionEnvironment();

  4. EnvironmentSettings fsSettings = EnvironmentSettings.newInstance().useOldPlanner().inStreamingMode().build();

  5. StreamTableEnvironment tableEnvironment = StreamTableEnvironment.create(streamEnv,fsSettings);

  6. String sourceTable ="CREATE TABLE sourceTable (\n" +

  7. " FTableName VARCHAR,\n" +

  8. " FECName VARCHAR\n" +

  9. ") WITH (\n" +

  10. " 'connector.type' = 'jdbc', -- 使用 jdbc connector\n" +

  11. " 'connector.url' = 'jdbc:mysql://xxx/xxx', -- jdbc url\n" +

  12. " 'connector.table' = 'xxx', -- 表名\n" +

  13. " 'connector.username' = 'xxx', -- 用户名\n" +

  14. " 'connector.password' = 'xxx', -- 密码\n" +

  15. " 'connector.write.flush.max-rows' = '1' -- 默认5000条,为了演示改为1条\n" +

  16. ")";

  17. tableEnvironment.sqlUpdate(sourceTable);

  18. String sinkTable ="CREATE TABLE sinkTable (\n" +

  19. " FID VARCHAR,\n"+

  20. " FRoomName VARCHAR\n" +

  21. ") WITH (\n" +

  22. " 'connector.type' = 'jdbc', -- 使用 jdbc connector\n" +

  23. " 'connector.url' = 'jdbc:mysql://xxx/xxx', -- jdbc url\n" +

  24. " 'connector.table' = 'xxx', -- 表名\n" +

  25. " 'connector.username' = 'xxx', -- 用户名\n" +

  26. " 'connector.password' = 'xxx, -- 密码\n" +

  27. " 'connector.write.flush.max-rows' = '1' -- 默认5000条,为了演示改为100条\n" +

  28. ")";

  29.  
  30. tableEnvironment.sqlUpdate(sinkTable);

  31. String query = "SELECT FTableName as tableName,FECName as ecName FROM sourceTable";

  32. Table table = tableEnvironment.sqlQuery(query);

  33. table.filter("tableName === 'xxx'").select("'1',ecName").insertInto("sinkTable");

  34.  
  35. streamEnv.execute();

  36. }

  37. }

奇怪的是这种方式打包上传show plan的时候报错:


 
  1. 2020-05-22 12:09:48,198 WARN org.apache.flink.runtime.webmonitor.handlers.JarPlanHandler - Configuring the job submission via query parameters is deprecated. Please migrate to submitting a JSON request instead.

  2. 2020-05-22 12:09:48,201 WARN org.apache.flink.runtime.webmonitor.handlers.JarPlanHandler - Configuring the job submission via query parameters is deprecated. Please migrate to submitting a JSON request instead.

  3. 2020-05-22 12:09:48,201 WARN org.apache.flink.runtime.webmonitor.handlers.JarPlanHandler - Configuring the job submission via query parameters is deprecated. Please migrate to submitting a JSON request instead.

  4. 2020-05-22 12:09:48,372 ERROR org.apache.flink.runtime.webmonitor.handlers.JarPlanHandler - Unhandled exception.

  5. org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: SQL validation failed. findAndCreateTableSource failed.

  6. at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:335)

  7. at org.apache.flink.client.program.PackagedProgram.invokeInteractiveModeForExecution(PackagedProgram.java:205)

  8. at org.apache.flink.client.program.OptimizerPlanEnvironment.getPipeline(OptimizerPlanEnvironment.java:79)

  9. at org.apache.flink.client.program.PackagedProgramUtils.getPipelineFromProgram(PackagedProgramUtils.java:101)

  10. at org.apache.flink.client.program.PackagedProgramUtils.createJobGraph(PackagedProgramUtils.java:56)

  11. at org.apache.flink.runtime.webmonitor.handlers.utils.JarHandlerUtils$JarHandlerContext.toJobGraph(JarHandlerUtils.java:128)

  12. at org.apache.flink.runtime.webmonitor.handlers.JarPlanHandler.lambda$handleRequest$1(JarPlanHandler.java:100)

  13. at java.util.concurrent.CompletableFuture$AsyncSupply.run(CompletableFuture.java:1590)

  14. at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)

  15. at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)

  16. at java.lang.Thread.run(Thread.java:748)

  17. Caused by: org.apache.flink.table.api.ValidationException: SQL validation failed. findAndCreateTableSource failed.

  18. at org.apache.flink.table.calcite.FlinkPlannerImpl.validateInternal(FlinkPlannerImpl.scala:130)

  19. at org.apache.flink.table.calcite.FlinkPlannerImpl.validate(FlinkPlannerImpl.scala:105)

  20. at org.apache.flink.table.sqlexec.SqlToOperationConverter.convert(SqlToOperationConverter.java:124)

  21. at org.apache.flink.table.planner.ParserImpl.parse(ParserImpl.java:66)

  22. at org.apache.flink.table.api.internal.TableEnvironmentImpl.sqlQuery(TableEnvironmentImpl.java:464)

  23. at connector.mysql.ReadWriteMysqlByDDL.main(ReadWriteMysqlByDDL.java:44)

  24. at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)

  25. at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)

  26. at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)

  27. at java.lang.reflect.Method.invoke(Method.java:498)

  28. at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:321)

  29. ... 10 more

  30. Caused by: org.apache.flink.table.api.TableException: findAndCreateTableSource failed.

  31. at org.apache.flink.table.factories.TableFactoryUtil.findAndCreateTableSource(TableFactoryUtil.java:55)

  32. at org.apache.flink.table.factories.TableFactoryUtil.findAndCreateTableSource(TableFactoryUtil.java:92)

  33. at org.apache.flink.table.catalog.DatabaseCalciteSchema.convertCatalogTable(DatabaseCalciteSchema.java:138)

  34. at org.apache.flink.table.catalog.DatabaseCalciteSchema.convertTable(DatabaseCalciteSchema.java:97)

  35. at org.apache.flink.table.catalog.DatabaseCalciteSchema.lambda$getTable$0(DatabaseCalciteSchema.java:86)

  36. at java.util.Optional.map(Optional.java:215)

  37. at org.apache.flink.table.catalog.DatabaseCalciteSchema.getTable(DatabaseCalciteSchema.java:76)

  38. at org.apache.calcite.jdbc.SimpleCalciteSchema.getImplicitTable(SimpleCalciteSchema.java:83)

  39. at org.apache.calcite.jdbc.CalciteSchema.getTable(CalciteSchema.java:289)

  40. at org.apache.calcite.sql.validate.EmptyScope.resolve_(EmptyScope.java:143)

  41. at org.apache.calcite.sql.validate.EmptyScope.resolveTable(EmptyScope.java:99)

  42. at org.apache.calcite.sql.validate.DelegatingScope.resolveTable(DelegatingScope.java:203)

  43. at org.apache.calcite.sql.validate.IdentifierNamespace.resolveImpl(IdentifierNamespace.java:105)

  44. at org.apache.calcite.sql.validate.IdentifierNamespace.validateImpl(IdentifierNamespace.java:177)

  45. at org.apache.calcite.sql.validate.AbstractNamespace.validate(AbstractNamespace.java:84)

  46. at org.apache.calcite.sql.validate.SqlValidatorImpl.validateNamespace(SqlValidatorImpl.java:1008)

  47. at org.apache.calcite.sql.validate.SqlValidatorImpl.validateQuery(SqlValidatorImpl.java:968)

  48. at org.apache.calcite.sql.validate.SqlValidatorImpl.validateFrom(SqlValidatorImpl.java:3122)

  49. at org.apache.calcite.sql.validate.SqlValidatorImpl.validateFrom(SqlValidatorImpl.java:3104)

  50. at org.apache.calcite.sql.validate.SqlValidatorImpl.validateSelect(SqlValidatorImpl.java:3376)

  51. at org.apache.calcite.sql.validate.SelectNamespace.validateImpl(SelectNamespace.java:60)

  52. at org.apache.calcite.sql.validate.AbstractNamespace.validate(AbstractNamespace.java:84)

  53. at org.apache.calcite.sql.validate.SqlValidatorImpl.validateNamespace(SqlValidatorImpl.java:1008)

  54. at org.apache.calcite.sql.validate.SqlValidatorImpl.validateQuery(SqlValidatorImpl.java:968)

  55. at org.apache.calcite.sql.SqlSelect.validate(SqlSelect.java:216)

  56. at org.apache.calcite.sql.validate.SqlValidatorImpl.validateScopedExpression(SqlValidatorImpl.java:943)

  57. at org.apache.calcite.sql.validate.SqlValidatorImpl.validate(SqlValidatorImpl.java:650)

  58. at org.apache.flink.table.calcite.FlinkPlannerImpl.validateInternal(FlinkPlannerImpl.scala:126)

  59. ... 20 more

  60. Caused by: org.apache.flink.table.api.NoMatchingTableFactoryException: Could not find a suitable table factory for 'org.apache.flink.table.factories.TableSourceFactory' in

  61. the classpath.

  62.  
  63. Reason: Required context properties mismatch.

  64.  
  65. The following properties are requested:

  66. connector.password=xxx

  67. connector.table=xxx

  68. connector.type=jdbc

  69. connector.url=jdbc:mysql://xxx/xxx

  70. connector.username=xxx

  71. connector.write.flush.max-rows=100

  72. schema.0.data-type=VARCHAR(2147483647)

  73. schema.0.name=FTableName

  74. schema.1.data-type=VARCHAR(2147483647)

  75. schema.1.name=FECName

  76.  
  77. The following factories have been considered:

  78. org.apache.flink.streaming.connectors.kafka.KafkaTableSourceSinkFactory

  79. org.apache.flink.table.sources.CsvBatchTableSourceFactory

  80. org.apache.flink.table.sources.CsvAppendTableSourceFactory

  81. at org.apache.flink.table.factories.TableFactoryService.filterByContext(TableFactoryService.java:322)

  82. at org.apache.flink.table.factories.TableFactoryService.filter(TableFactoryService.java:190)

  83. at org.apache.flink.table.factories.TableFactoryService.findSingleInternal(TableFactoryService.java:143)

  84. at org.apache.flink.table.factories.TableFactoryService.find(TableFactoryService.java:96)

  85. at org.apache.flink.table.factories.TableFactoryUtil.findAndCreateTableSource(TableFactoryUtil.java:52)

  86. ... 47 more

  87.  

暂时不知道是什么原因

比较

  1. 如果不设置并行度,则两种方式的source和sink并行度都是1(默认)
  2. 如果设置多并行度,则方式一的source会采用设置的并行度读数据,会造成数据重复读,而方式二不会
  3. 对于第一种方式,读取的数据以ROW类型返回,且写入时也必须为ROW类型,不方便使用pojo 
  4. 方式一返回的是DataSet,方式二返回的是DataStreamSource
  5. 方式一需要为每个字段指定类型BasicTypeInfo,如果字段比较多,则不太方便
学习笔记:Flink 读取和写入MySQL数据 实际开发中,经常会实时接收一些数据,要和MySQL中存储的一些规则进行匹配,那么这时候就可以使用 Flink 自定义数据源从MySQL 阅读详情

相关推荐

FLINK 1.12.2 jdbc读写mysql

FLINK读写MySQL的方式有三种,一种是直接使用flink自带的JDBCInputFormat和JDBCOutputFormat,另一种是自定义source和sink,第三种是通过DDL连接MySQL进行读写。第二种针对每个源表都要写自定义的source和sink类,不够灵活;第一种是通过DataSet API实现的;考虑到官网一直强调Table API的流批统一性,以及代码的简易程度,这里选择第三种方式DDL链接jdbc来读写mysql。 1.添加依赖 参照官网需要添加如下两个jar包mysql-

arwenlin的博客 3853

Flink 读写MySQL数据(DataStream和Table API)

Flink提供了基于JDBC的方式,可以将读取到的数据写入到MySQL中;本文通过两种方式将数据下入到MySQL数据库,其他的基于JDBC的数据库类似,另外,Table API方式的Catalog指定为Hive Catalog方式,持久化DDL操作。Maven依赖,包含了Hive Catalog的相关依赖 DataStream方式读写MySQL数据 Table API的方式读写MySQL,其中Flink的Catalog使用Hive Catalog的方式 MySQL中的数据..........

wank1259162的博客 9822

Flink 实践教程:入门:使用 Flink 读取 MySQL 数据

在本教程中,我们学习了如何使用 Flink 从 MySQL 数据库中读取数据的基本步骤。我们首先准备了运行 Flink 和连接 MySQL 数据库所需的环境,并导入了必要的依赖。此外,还可以使用 Flink 提供的其他功能和操作符来进一步处理和分析读取的数据。接下来,我们将编写 Flink 代码来读取 MySQL 数据库中的数据。查看结果:在 Flink 的日志输出或控制台输出中,你将看到从 MySQL 数据库读取的数据。Apache Flink:从 Flink 官方网站下载并安装最新版本的 Flink。

PmtxPhp的博客 1615

flink学习33:flinkSQL连接mysql,查询插入数据

1.生成运行时env2.生成表环境3.接上数据流,数据流数据生成表4.把数据库中sink保存数据的表,在flink中生成一遍(相当于把flink生成的表,绑定到数据库中的表),配上数据库连接信息,并执行,及注册5.查询表,可以根据注册表名查询6.插入表,可以根据生成的flink表进行数据插入。

hzp666的博客 8116

AI工作流革命:从n8n到Sora2,揭秘自动化视频创作的底层逻辑

本文深入探讨了AI工作流在自动化视频创作中的应用,重点介绍了n8n、Coze和Sora2的组合如何实现从链接输入到视频输出的全流程自动化。通过三层架构解析、关键技术模块优化及成本控制策略,这套方案显著提升了视频生产效率,适用于电商、热点追踪等多种场景。

gg901的博客 1090

从SPICE到电磁场:非线性器件在CST场路协同仿真中的建模艺术

本文深入探讨了非线性器件在CST场路协同仿真中的建模技术,重点分析了SPICE模型与电磁场仿真的集成方法。通过对比线电流模型和面电流模型的优缺点,结合实际案例展示了二极管阵列在电磁散射调控中的应用,为工程师提供了优化仿真精度与效率的实用技巧。

pandas7gardener的博客 200

flink重复读取mysql_flink读写MySQL的两种方式

2020-05-22 12:09:48,198 WARN org.apache.flink.runtime.webmonitor.handlers.JarPlanHandler - Configuring the job submission via query parameters is deprecated. Please migrate to submitting a JSON reques...

weixin_39970064的博客 807

STM32F0实现数字化SPWM纯正弦波逆变器

这个没啥好说的,搭电路的事。其核心思想是两边桥臂分别由两个180度相位差的正弦波与三角载波比较来控制,优点是在开关器件工作频率一样的情况下,输出PWM频率是单极性SPWM的2倍,能够明显减少谐波,因此只需要相对较小的电感和电容滤波器件就可以起到很好的滤波效果,提升了系统的性能,也精简了系统体积,降低了成本。而双极性pwm则是在整个正弦周期内,四只管子都在高频开关状态工作,对角线上的管子一起导通,另一对角线上管子互补导通,实际上只需要一路互补的PWM控制,负载上电压在正电压和负电压之间切换,不出现0v。

forlifefor的专栏 1万+

Hive/Spark/Flink增量查询Hudi最佳实践一网打尽

、一、Hive增量查询Hudi表同步Hive我们在写数据时,可以配置同步Hive参数,生成对应的Hive表,用来查询Hudi表,具体来说,在写入过程中传递了两个由table name命名的Hive表。例如,如果table name = hudi_tbl,我们得到hudi_tbl 实现了由 HoodieParquetInputFormat 支持的数据集的读优化视图,从而提供了纯列式数据hudi_tb...

大数据星球-浪尖 562

国产操作系统应用迁移与适配

了解国产操作系统的背景及意义

2301_77609559的博客 2681

Cesium 相机操作

Cesium 提供了三种方式对相机的位置进行摆放。

虎康的博客 2594

Flink读写Mysql(Java版)

必须得创建好Mysql表 CREATE TABLE student (name VARCHAR(20),age INT); 读写代码 创建实体类 public class Student { private String name; private int age; public Student(String name, int age) { th...

SunnyRivers 2766

【06】新国都——新国都 嵌入式笔试,校招,题目记录及解析

本文总结了新国都嵌入式校招笔试题目及解析,内容涵盖C语言基础、Linux系统、数据结构与算法等多个方面。主要包括:1)不定项选择题10道,涉及字符串常量、蓝牙与GPRS区别、编译错误识别等;2)判断题10道,考察Linux权限、循环控制、内存管理等;3)填空题5道,包括编码计算、逻辑运算、宏定义等;4)简答题2道,解析全局变量引用和进程线程区别。题目难度适中,重点考察嵌入式开发基础知识和编程能力,并提供详细解析和扩展知识链接,对准备嵌入式相关笔试具有参考价值。

程序员,他们想的是什么?他们想的永远都是技术,他们崇尚的也永远都是技术。 1435

Flink 通过批量和CDC两种方式读取MySQL数据入Iceberg

Flink JDBC 连接器允许使用 JDBC 驱动程序从任何关系数据库读取数据并将数据写入其中。本文档介绍如何设置 JDBC 连接器以针对关系数据库运行 SQL 查询。如果在 DDL 上定义了主键,则 JDBC sink 以 upsert 模式与外部系统交换 UPDATE/DELETE 消息,否则,它以 append 模式运行,不支持消费 UPDATE/DELETE 消息。 测试代码 代码说明 1、hadoop catalog创建 创建脚本,warehouse的路径,它会自动创建HDFS路

wank1259162的博客 3629

材料仿真软件:Quantum Espresso_(15).声子与振动模式计算

通过上述步骤和代码示例,您应该能够使用 Quantum Espresso 进行声子与振动模式的计算。声子计算是材料科学研究中的重要工具,可以帮助我们更好地理解和设计材料的性能。希望本节内容对您有所帮助。

kkchenjj的博客 1185

后仿真中《SDF反标必懂连载篇》之 <INTERCONNECT/IOPATH> 到底反标电路路径是哪里

对于SDF INTERCONNECT ENTRY 描述,我们在之前的文章有详解。读万卷书,行万里路。实践很重要。今天,搞一下SDF INTERCONNECT / IOPATH 延迟数据信息,究竟反标的是哪一路径延时?究竟在电路上一段段如何表现出延迟现象的呢?

那么菜的博客 2139

Flink 读写mysql(Java)——批处理

@羲凡——只为了更好的活着 Flink 读写mysql(Java)——批处理 1.前期准备 a.添加maven依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-jdbc_2.12</artifactId> <version>${fl...

@羲凡—只为更好的活着 3262

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

Flink——Flink读写MySQL

package flink.batch; import com.alibaba.fastjson.JSON; import com.alibaba.fastjson.JSONObject; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.common.typeinfo.BasicTypeInfo; import org.apache.flink.api.common.typeinfo

aof 585

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

mysql和flink_11-flink读写MySQL

一、读MySQL1、通过JDBC方式定义MySQLDataSource类1.1首先加入JDBC依赖1.2定义JDBCInputFormat1.3获取Row类型的DataStreamSource1.4转化DataStream为DataStreampublic class MysqlDataSource {private static final Logger log = LoggerFactory....

weixin_42396285的博客 531

flink入门2-flink连接mysql完成读写操作

本文将会实现flink连接MySQL,废话不多说,上代码。本文章中的数据库表名为token,只有两个字段code和state 2、读取数据源 3、更新和写入数据 4、启动类 5、source、sink介绍 sourcesink

summon的博客 6774

Flink批处理之JDBC读写Mysql--Scala

1、环境 jdk 1.8.0_108 Scala 2.11.8 Flink 1.7.2 MySql 8.0.13 2、Maven依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11<...

天道酬勤的博客 4176

flink写入 mysql_Flink批处理之读写Mysql

1、添加Maven坐标mysqlmysql-connector-java5.1.48org.apache.flinkflink-jdbc_2.121.8.02、建表CREATE TABLE `temp` (`id` bigint(20) NOT NULL AUTO_INCREMENT,`name` varchar(255) DEFAULT NULL,`time` varchar(255) DEFA...

weixin_39972768的博客 646

Flink数据源的读写介入体系

/ 1. 创建 Flink 的流处理环境// 2. 从 Socket 数据源读取数据// 参数分别为:主机名、端口号、行分隔符// 3. 转换处理流数据// 使用 map 函数将读取到的字符串数据转换为 AccessLog 对象@Override// 将字符串按逗号分隔成数组// 创建一个新的 AccessLog 对象// 根据数组的索引将数据赋值给 AccessLog 对象的相应属性i++) {case 0:break;

qq_46248151的博客 1060

flink链接mysql_flink操作mysql

Flink读写mysql如果是mvn项目的话,需要预先导入相应的包:org.apache.flinkflink-jdbc_2.111.9.2mysqlmysql-connector-java5.1.241、读import java.time.LocalDateTimeimport org.apache.flink.api.common.typeinfo.BasicTypeInfoimport or...

weixin_33137081的博客 1694

flink定时读取mysql数据_Flink批处理之读写Mysql

mysqlmysql-connector-java5.1.48org.apache.flinkflink-jdbc_2.121.8.02、建表CREATE TABLE `temp` (`id` bigint(20) NOT NULL AUTO_INCREMENT,`name` varchar(255) DEFAULT NULL,`time` varchar(255) DEFAULT NULL,`t...

weixin_39550940的博客 1589
上一篇: Flink Kafka Connector与Exactly Once剖析
下一篇: 基于Interval Join实时Join过去一段时间内的数据
王树民
博客等级 码龄10年 912粉丝 560原创
评论 9
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值