Flink DataStream转换操作大集合

最新推荐文章于 2024-11-01 18:05:04 发布

jiangfullll

最新推荐文章于 2024-11-01 18:05:04 发布

阅读量6.8k

点赞数 4

CC 4.0 BY-SA版权

分类专栏： Flink Flink笔记

本文链接：https://blog.youkuaiyun.com/startupmount/article/details/94660698

Flink DataStream转换操作

1.Single-DataStream操作

1.Map[DataStream -> DataStream]
调用用户定义的MapFunction对DataStream[T]数据进行处理，形成新的DataStream[T]，其中数据格式可能会发生变化,常用作对数据集内数据的清洗和转换。

import org.apache.flink.api.common.functions.MapFunction
import org.apache.flink.api.scala._
import org.apache.flink.streaming.api.scala.{DataStream, StreamExecutionEnvironment}
object SourceTest {

  def main(args: Array[String]): Unit = {
    val env = StreamExecutionEnvironment.getExecutionEnvironment
    val dataStream = env.fromElements(("a",3),("d",4),("c",2),("c",5),("a",5))
    //map操作
    val mapStream: DataStream[(String,Int)] = dataStream.map(t => (t._1, t._2 + 1))
    //MapFunction操作
    mapStream.map(new MapFunction[(String,Int),(String,Int)] {
      override def map(t: (String, Int)): (String, Int) = {
        (t._1,t._2 + 1)
      }
    }