Flink消费kafka中的数据(scala版)

最新推荐文章于 2024-11-12 22:28:37 发布

gqy_sea

最新推荐文章于 2024-11-12 22:28:37 发布

阅读量1.4k

点赞数 4

CC 4.0 BY-SA版权

分类专栏：流式计算框架flink 文章标签： flink kafka

本文链接：https://blog.youkuaiyun.com/weixin_48678923/article/details/119416579

流式计算框架flink 专栏收录该内容

2 篇文章

订阅专栏

该博客展示了如何在Apache Flink中使用FlinkKafkaConsumer011从Kafka读取数据。代码示例创建了Flink执行环境，配置了Kafka消费者，并指定了bootstrap服务器和消费组，然后将数据源添加到Flink流处理任务中并打印出来。整个过程简单明了，适合初学者理解Flink与Kafka的集成。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

kafka依赖

<dependency>
   <groupId>org.apache.flink</groupId>
   <artifactId>flink-connector-kafka-0.11_2.12</artifactId>
   <version>1.10.1</version>
</dependency>

核心代码：

import org.apache.flink.api.common.serialization.SimpleStringSchema
import org.apache.flink.streaming.api.scala._
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer011


import java.util.Properties


/**
* @author shkstart
* @create 2021-07-23 8:06
*/
object Test {
  def main(args: Array[String]): Unit = {
    //1.创建运行环境
    val env = StreamExecutionEnvironment.getExecutionEnvironment


    //2.读取kafka中的数据
    //2.1创建配置对象，这里的对象为java的对象
    val properties = new Properties()
    properties.setProperty("bootstrap.servers","hadoop101:9092")    //hadoop101为自己的kafka地址
    properties.setProperty("group.id","consumer-group")
    val kafavalue = env.addSource(new FlinkKafkaConsumer011[String]("sensor", new SimpleStringSchema(), properties))
    //打印
    kafavalue.print()

    //执行
    env.execute()
  }
}