15.flink的使用scala steaming wordcount的使用

最新推荐文章于 2020-10-14 15:41:45 发布

我的海_

最新推荐文章于 2020-10-14 15:41:45 发布

阅读量191

点赞数 1

分类专栏： flink

本文链接：https://blog.youkuaiyun.com/kk25114/article/details/99684902

版权

flink 专栏收录该内容

1 篇文章

订阅专栏

同步输出按空格切分

源码:

import org.apache.flink.api.java.utils.ParameterTool
import org.apache.flink.api.scala._
import org.apache.flink.streaming.api.scala.{DataStream, StreamExecutionEnvironment}

object StreamWordCount1 {
  def main(args: Array[String]): Unit = {
    val env = StreamExecutionEnvironment.getExecutionEnvironment
    // 接收socket文本流
    val textDstream: DataStream[String] = env.socketTextStream("192.168.50.170", 9999)

    // flatMap和Map需要引用的隐式转换
    val dataStream: DataStream[(String, Int)] = textDstream.flatMap(_.split("\\s")).filter(_.nonEmpty).map((_, 1)).keyBy(0).sum(1)

    dataStream.print().setParallelism(1)

    // 启动executor，执行任务
    env.execute("Socket stream word count")
  }
}