Flink1.12 SQL连接器之JDBC Connector介绍与使用总结

最新推荐文章于 2025-11-02 21:53:02 发布

原创

最新推荐文章于 2025-11-02 21:53:02 发布 · 5.3k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #flink

前言

与DataStream同样，官方在Flink SQL上也提供了很多连接器，今天来学习总结一下JDBC连接器

环境准备

如果使用编码，需要引入两个依赖包，Flink提供的jdbc连接器依赖和和对应的mysql驱动包，

以下为1.12.0 提供的jdbc连接器依赖

<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-connector-jdbc_2.11</artifactId>
  <version>1.12.0

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

俩只猴

关注关注

3
点赞
踩
4

收藏

觉得还不错? 一键收藏
3
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Flink SQL join类型

chanyue123的博客

03-07

2508

flink sql join类型讲解

Flink JDBC Connector：Flink 与数据库集成最佳实践

SmartSi

08-26

3025

Dialect (方言)对各个数据库来说，Dialect 体现各个数据库的特性，比如语法、数据类型等。如果需要查看详细的差异，可以点击这里[6]查看详细差异。下面通过对比 MySQL 和 Postgres 的一些常见场景举例：在数据类型上面，Flink SQL 的数据类型目前映射规则如下：Flink 目前支持三种 Dialect: Derby、MySQL、PostgreSQL，Derby 主要用于测试，更多的类型映射可以点击下方链接前往官方文档查看。......

3 条评论您还未登录，请先登录后发表或查看评论

大数据（9h）FlinkSQL之Lookup Join

ArYe

11-29

8725

ttl FOR SYSTEM_TIME AS OF Processing Time Temporal Join lookup join lookup cache Flink查询缓存 lookup.cache.max-rows lookup.cache.ttl

Flink 连接 Kafka：数据源接入与数据写入的完整代码示例

热门推荐

liuwei0376的专栏

05-23

1万+

Flink中的JDBC SQL Connector JDBC 连接器允许使用 JDBC 驱动程序从任何关系数据库读取数据并将数据写入数据。本文档介绍如何设置 JDBC 连接器以针对关系数据库运行 SQL 查询。如果在 DDL 上定义了主键，则 JDBC sink 以 upsert 模式与外部系统交换 UPDATE/DELETE 消息，否则，它以 append 模式运行，不支持消费 UPDATE/DELETE 消息。引入依赖为了使用 JDBC 连接器，使用构建自动化工具（例如 Maven 或 SBT）

FLINK 1.12.2 jdbc实现oracle或sqlserver连接器

arwenlin的博客

05-18

6655

Flink SQL Connector JDBC目前只支持Mysql，Derby和Postgres，但是oracle和sqlserver可以通过JDBC connector自己扩展。目前只能修改重编FLINK源码实现扩展，社区正在积极对此进行抽象和改造，未来应该会有更好的接口扩展方式。目录 1.编译FLINK源码 2.SQLSERVER JDBC扩展示例 2.1 Flink JDBC源码简介 2.2 Flink JDBC扩展思路 2.3 Flink JDBC SQLServer connect

Flink-Connectors(连接器)（1）JDBC

胖虎儿的博客

04-12

8444

什么是连接器 预定义的源和接收器 Flink内置了一些基本数据源和接收器，这些数据源和接收器始终可用。该预定义的数据源包括文件、Mysql、RabbitMq、Kafka、ES 等，同时也支持数据输出到文件、Mysql、RabbitMq、Kafka、ES等。简单的说：flink连接器就是将某些数据源加载与数据输出做了封装（连接器），我们只要引入对应的连接器依赖，即可快速的完成对数据源的加载以及数据的输出。例如我们使用JDBC 连接器，即可快速的使用JDBC从数据库中加载数据源并支持数据通

详述Flink SQL Connector写入clickhouse的问题与方法

search-lemon的博客

08-20

1万+

文章目录1. 问题描述2. 解决办法2.1 扩展jdbc connector支持clickhouse2.2 使用flink-connector-clickhouse 1. 问题描述笔者使用Flink1.11 SQL（jdbc connector）将实时数据写入Clickhouse时报以下异常： Exception in thread "main" org.apache.flink.table.api.SqlParserException: SQL parse failed. Encountered "de

FLINK 1.12.2 jdbc读写mysql

arwenlin的博客

05-14

3798

FLINK读写MySQL的方式有三种，一种是直接使用flink自带的JDBCInputFormat和JDBCOutputFormat，另一种是自定义source和sink，第三种是通过DDL连接MySQL进行读写。第二种针对每个源表都要写自定义的source和sink类，不够灵活；第一种是通过DataSet API实现的；考虑到官网一直强调Table API的流批统一性，以及代码的简易程度，这里选择第三种方式DDL链接jdbc来读写mysql。 1.添加依赖参照官网需要添加如下两个jar包mysql-

Flink SQL --JDBC connector

chbxw

08-07

5304

一、Table API & SQL 二、SQL Client 2.1、配置 1、添加依赖jar flink-connector-jdbc_2.11-1.12.3.jar mysql-connector-java-5.1.48.jar 2、重启flink stop-cluster.sh start-cluster.sh 注意：如果不重启的话，无法加载到上面的依赖jar java.lang.ClassNotFoundException: org.apache.flink.connector.j

flink-connector-jdbc_2.11-1.11.2.jar

02-24

flink本身DDL的方式目前还不支持clickhouse，本jar添加对clickhouse的支持，导入到flink/lib下即可使用

Flink JDBC Connector 支持Oracle

06-14

Flink JDBC Connector 支持Oracle ， Flink 1.13.6 支持Oracle 11.2.0.4

flink-connector-jdbc-2.12-1.14.3-API文档-中文版.zip

04-07

赠送jar包：flink-connector-jdbc_2.12-1.14.3.jar 赠送原API文档：flink-connector-jdbc_2.12-1.14.3-javadoc.jar 赠送源代码：flink-connector-jdbc_2.12-1.14.3-sources.jar 包含翻译后的API文档：flink-connector-jdbc_2.12-1.14.3-javadoc-API文档-中文(简体)版.zip 对应Maven信息：groupId：org.apache.flink，artifactId：flink-connector-jdbc_2.12，version：1.14.3 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用。

flink-connector-jdbc_2.12-1.14.3.jar

04-07

flink本身DDL的方式目前还不支持clickhouse，本jar添加对clickhouse的支持，导入到flink/lib下即可使用

flink-connector-jdbc和flink-jdbc

weixin_42166515的博客

02-24

1084

FLINK-17537：Refactor flink-jdbc connector structure[2] 将 flink-jdbc 升级为 flink-connector-jdbc

Flink 中 JDBC Connector 使用详解

m0_70691645的博客

11-27

3405

Flink JDBC Connector 是一个简单而高效的工具，适用于实时计算场景下与关系型数据库的交互。无论是数据写入还是读取，都可以通过简单配置快速实现。在实时计算或离线任务中，往往需要与关系型数据库交互，例如 MySQL、PostgreSQL 等。本文将介绍 Flink JDBC Connector 的基础用法、配置方法以及注意事项，帮助开发者更好地集成数据库操作。使用 JDBC Connector 可以实现对数据库的实时写入，也可以用作批量操作的工具。，可以方便地将流式数据写入或读取数据库。