Flink 系例之 TableAPI & SQL 与 MYSQL 插入数据

最新推荐文章于 2024-11-07 13:52:41 发布

不会飞的小龙人

最新推荐文章于 2024-11-07 13:52:41 发布

阅读量1.2k

点赞数

分类专栏： Flink 文章标签：大数据 java flink mysql

本文链接：https://blog.youkuaiyun.com/jilo88/article/details/125515466

版权

Flink 专栏收录该内容

52 篇文章

订阅专栏

该示例展示了如何在Java环境下，利用Flink 1.11.1版本，结合TableAPI和SQL以及Flink JDBC连接器，将数据插入到MySQL数据库表中。首先创建了表的SQL定义，然后通过StreamExecutionEnvironment和StreamTableEnvironment设置执行环境，最后执行插入数据的SQL语句完成数据插入。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用 Tbale&SQL 与 Flink JDBC 连接器将数据插入 MYSQL 数据库表

示例环境

java.version: 1.8.x
flink.version: 1.11.1
kafka：2.11

示例数据源（项目码云下载）

Flink 系例之搭建开发环境与数据

示例模块（pom.xml）

Flink 系例之 TableAPI & SQL 与示例模块

InsertToMysql.java

package com.flink.examples.mysql;

import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.EnvironmentSettings;
import org.apache.flink.table.api.StatementSet;
import org.apache.flink.table.api.TableResult;
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;

/**
 * @Description 使用Tbale&SQL与Flink JDBC连接器将数据插入MYSQL数据库表
 */
public class InsertToMysql {
    /**
     官方参考：https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/connectors/jdbc.html
     */
    //flink-jdbc-1.11.1写法,所有属性名在JdbcTableSourceSinkFactory工厂类中定义
    static String table_sql =
            "CREATE TABLE my_users (\n" +
            "  id BIGINT,\n" +
            "  name STRING,\n" +
            "  age INT,\n" +
            "  status INT,\n" +
            "  PRIMARY KEY (id) NOT ENFORCED\n" +
            ") WITH (\n" +
            "  'connector.type' = 'jdbc',\n" +
            "  'connector.url' = 'jdbc:mysql://192.168.110.35:3306/flink?useUnicode=true&characterEncoding=utf-8', -- 数据库需建立 \n" +
            "  'connector.driver' = 'com.mysql.jdbc.Driver', \n" +
            "  'connector.table' = 'users', -- 已知的表 \n" +
            "  'connector.username' = 'root',\n" +
            "  'connector.password' = 'password' \n" +
            ")";

    public static void main(String[] args) throws Exception {
        //构建StreamExecutionEnvironment
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        //构建EnvironmentSettings 并指定Blink Planner
        EnvironmentSettings bsSettings = EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build();
        //构建StreamTableEnvironment
        StreamTableEnvironment tEnv = StreamTableEnvironment.create(env, bsSettings);
        //注册mysql数据维表
        tEnv.executeSql(table_sql);

        //执行SQL,id=0是因id字段为自增主键，为0则mysql识别会默认自增值代替
        String sql = "insert into my_users (id,name,age,status) values(0,'tom',31,0)";

        // 第一种方式：直接执行sql
//        TableResult tableResult = tEnv.executeSql(sql);

        //第二种方式：声明一个操作集合来执行sql
        StatementSet stmtSet = tEnv.createStatementSet();
        stmtSet.addInsertSql(sql);
        TableResult tableResult = stmtSet.execute();

        tableResult.print();
    }
}

打印结果

+-------------------------------------------+
| default_catalog.default_database.my_users |
+-------------------------------------------+
|                                        -1 |
+-------------------------------------------+
1 row in set