Flink window Function - ReduceWordCount

最新推荐文章于 2024-11-25 20:08:05 发布

转载最新推荐文章于 2024-11-25 20:08:05 发布 · 157 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/maoxiangyi/p/10977926.html

文章标签：

#大数据 #scala

本文通过使用Apache Flink的窗口函数实现了一个简单的单词计数应用。应用从自定义数据源实时读取数据，通过flatMap、map等操作进行数据预处理，然后使用timeWindow函数设置时间窗口，最后使用reduce函数对窗口内的数据进行聚合处理。本文详细展示了如何在Flink中利用窗口函数进行实时数据分析。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

package window

import org.apache.flink.streaming.api.functions.source.SourceFunction
import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment
import org.apache.flink.streaming.api.windowing.time.Time
import org.apache.flink.api.scala._

/**
 * @author: create by maoxiangyi
 * @version: v1.0
 * @description: window
 * @date:2019 /6/4
 */
object ReduceWordCount {
 def main(args: Array[String]): Unit = {
  //设置环境
  val env: StreamExecutionEnvironment = StreamExecutionEnvironment.createLocalEnvironment()
  //设置数据源
  env.addSource(new SourceFunction[String] {
   override def run(ctx: SourceFunction.SourceContext[String]): Unit = {
    while (true) {
     ctx.collect("hello hadoop hello storm hello spark")
     Thread.sleep(1000)
    }
   }

   override def cancel(): Unit = {}
  })
   //计算逻辑
   .flatMap(_.split(" "))
   .map((_, 1))
   .keyBy(_._1)
   .timeWindow(Time.seconds(10), Time.seconds(10))
   .reduce((x, y) => {
    (x._1, x._2 + y._2)
   })
   //输出结果
   .addSink(x => {
   print(x + "\n")
  })
  //提交任务
  env.execute("word count")
 }
}