Flink入门(十)异步多线程Mysql打宽表，加维度

最新推荐文章于 2025-07-19 00:34:06 发布

原创

最新推荐文章于 2025-07-19 00:34:06 发布 · 8.8k 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#异步多线程 #Flink #AsyncDataStream

有这样需求，消息发来是站点名stationName，但与需要和mysql中维度表join站点名的三字码stationCode（唯一标识符）。

flink版本1.6.3，maven配置如下：

   		<dependency>
            <groupId>com.google.guava</groupId>
            <artifactId>guava</artifactId>
            <version>25.1-jre</version>
        </dependency>
   		<dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.6</version>
        </dependency>
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>druid</artifactId>
            <version>1.1.16</version>
        </dependency>
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.47</version>
        </dependency>

读取kafka消息

        final StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironment();
        //链接kafka消息
        String kafkaBrokers=KafkaConfig.KAFKA_BROKER_LIST;
        String topicName="topic-test";
        Properties propsConsumer = new Properties();
        propsConsumer.setProperty("bootstrap.servers",kafkaBrokers) ;
        propsConsumer.set