flink从kafka读到写到kafka 笔记

最新推荐文章于 2025-04-03 18:10:21 发布

我才是真的封不觉

最新推荐文章于 2025-04-03 18:10:21 发布

阅读量296

点赞数

分类专栏： flink从入门到入坟文章标签： java 开发语言 flink kafka

本文链接：https://blog.youkuaiyun.com/JavaCoder_juejue/article/details/126339221

版权

flink从入门到入坟专栏收录该内容

5 篇文章

订阅专栏

博客提到在工作中，可在公司的flinksql platform平台上新增source table与sinktable，而非像代码那样注册。同时指出大数据量时，该平台不像flink能灵活设置并行度，公司似乎有small、middle和large三种规模，需工作时再确认。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

工作中可以不像下面代码一样注册source table 与sinktable 可以在公司的 flinksql platform 平台上

新增 source table 与sinktable 注意大数据量时不像flink一样可以灵活设置并行度

公司好像分为三个规模 small middle and large 工作时再看看

package com.bigdata.flink.chap02;

import org.apache.flink.table.api.*;

import static org.apache.flink.table.api.Expressions.$;

public class FlinkTableAPIKafka2Kafka {
    public static void main(String[] args) {
        //1.创建TableEnvironment
        EnvironmentSettings settings = EnvironmentSettings
                .newInstance()
                .build();
        TableEnvironment tEnv = TableEnvironment.create(settings);

        //2.创建 source table
        Schema schema = Schema.newBuilder()
                .column("user", DataTypes.STRING())
                .column("url",DataTypes.STRING())
                .column("cTime",DataTypes.STRING())
                .build();
        tEnv.createTemporaryTable("sourceTable", TableDescriptor.forConnector("kafka")
                .schema(schema)
                .option("topic","clicklog_input")
                .option("properties.bootstrap.servers","hadoop1:9092")
                .option("properties.group.id","clicklog")
                .option("scan.startup.mode","earliest-offset")
                .option("format","json")
                .build()
        );

        //3.创建sink table
        tEnv.createTemporaryTable("sinkTable",TableDescriptor.forConnector("kafka")
                .schema(schema)
                .format("csv")
                .option("topic","clicklog_output")
                .option("properties.bootstrap.servers","hadoop1:9092")
                .build());

        //4.执行Table API 查询
        Table resultTable = tEnv.from("sourceTable").select($("user"),$("url"),$("cTime"));

        //5.输出
        resultTable.executeInsert("sinkTable");
    }
}