使用Flume采集流式数据发送到Kafka，再由Flink消费Kafka数据，实现车牌号码统计端口

最新推荐文章于 2023-09-03 11:37:00 发布

yiyiqi123

最新推荐文章于 2023-09-03 11:37:00 发布

阅读量605

点赞数

分类专栏：随机文章标签： flink

本文链接：https://blog.youkuaiyun.com/yiyiqi123/article/details/105497308

版权

随机专栏收录该内容

21 篇文章

订阅专栏

本文介绍如何使用Apache Flink处理来自Kafka的数据流，包括设置并行度、从Kafka读取数据、对数据进行窗口操作以及过滤处理。通过具体代码示例，展示了如何实现数据流的实时分析。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

def main(args: Array[String]): Unit = {
//创建flink执行环境
val env = StreamExecutionEnvironment.getExecutionEnvironment
//设置并行度
env.setParallelism(1)
//从kafka获取数据
val properties = new Properties()
properties.setProperty(“bootstrap.servers”, “hdp111:9092,hdp222:9092,hdp333:9092”)
properties.setProperty(“zookeeper.connect”, “hdp111:2181,hdp222:2181,hdp333:2181”)
properties.setProperty(“group.id”, “consumer-group”)
val dataStream: DataStream[String] = env.addSource(new FlinkKafkaConsumer011[String](“Kafkaflink”,new SimpleStringSchema(),properties))
val value1: DataStream[(String, Int)] = dataStream.map(x=>(“车牌总数”,1)).keyBy(0).timeWindow(Time.seconds(5)).sum(1)
value1.print(“五秒内出现的总次数”)
dataStream.split(x=>{
val str = x.takeRight(1)
val int = str.toInt
if (int % 2 == 0) {
Seq(“edd”)
}else{
Seq(“eved”)
}
}).select(“edd”).print(“偶数车牌”)
dataStream.map((_,1)).keyBy(0).timeWindow(Time.seconds(10)).sum(1).filter(x=>x._2>=2).print(“车牌数量大于2”)
env.execute()