flink 单词计数demo

最新推荐文章于 2025-03-20 15:34:16 发布

爱吃甜食_

最新推荐文章于 2025-03-20 15:34:16 发布

阅读量640

点赞数

分类专栏： Flink

本文链接：https://blog.youkuaiyun.com/a3125504x/article/details/108652834

版权

该博客介绍了使用Flink进行实时单词计数的示例，包括Scala和Java两种实现方式。在Scala中，代码展示了如何每1秒统计过去2秒内单词出现的频率。此外，还提到了离线统计和相关的pom依赖。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

单词计数

实时统计每隔1秒统计最近2秒单词出现的次数

实时统计-scala

代码

/导入scala版本的
import org.apache.flink.streaming.api.scala.{
   DataStream, StreamExecutionEnvironment}
import org.apache.flink.streaming.api.windowing.time.Time

object onLine {
   
  def main(args: Array[String]): Unit = {
   
    val environment: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
    val socketDS: DataStream[String] = environment.socketTextStream("node01",9999)
    //必须导入隐式转换包

    import org.apache.flink.api.scala._
    val result: DataStream[(String,Int)] = socketDS.flatMap(x=>x.split(" "))
      .map(x=>(x,1))
      .keyBy(0) //按照下标为0的单词进行分组
      .timeWindow(Time.seconds(2),Time.seconds(1)) //每个2s处理1s的数据
      .sum(1)

    result.print()
    environment.execute("FlinkStream")
  }

}

输入
在这里插入图片描述

结果
前面的数字表示线程号
在这里插入图片描述
也可以选择打成jar包到yarn中运行


 flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 -c com.wordcount.onLine original-flink_study-1.0-SNAPSHOT.jar

实时统计-java

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.streaming.api.datastream.*;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment

最低0.47元/天解锁文章