【云星数据---Apache Flink实战系列(精品版)】：Apache Flink批处理API详解与编程实战021--DateSet实用API详解021

最新推荐文章于 2022-05-05 14:41:50 发布

原创最新推荐文章于 2022-05-05 14:41:50 发布 · 6.9k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#apache #api #scala #批处理 #编程

bigdata 同时被 3 个专栏收录

187 篇文章

订阅专栏

cloudcomputing

183 篇文章

订阅专栏

flink

86 篇文章

订阅专栏

本文通过 Scala 语言演示了 Apache Flink 中 DataSet API 的 flatMap 和 filter 方法的应用实例。详细介绍了如何使用 flatMap 进行 1:n 的转换操作，并展示了如何利用 filter 对数据集进行过滤。

Flink DateSet定制API详解(Scala版) -002

flatMap

以element为粒度，对element进行1：n的转化。

执行程序：

package code.book.batch.dataset.advance.api

import org.apache.flink.api.common.functions.FlatMapFunction
import org.apache.flink.api.scala.{ExecutionEnvironment, _}
import org.apache.flink.util.Collector
object FlatMapFunction001scala {
  def main(args: Array[String]): Unit = {
    // 1.设置运行环境,并创造测试数据
    val env = ExecutionEnvironment.getExecutionEnvironment
    val text = env.fromElements("flink vs spark", "buffer vs  shuffer")

    // 2.以element为粒度，将element进行map操作，转化为大写并添加后缀字符串"--##bigdata##"
    val text2 = text.flatMap(new FlatMapFunction[String, String]() {
      override def flatMap(s: String, collector: Collector[String]): Unit = {
        collector.collect(s.toUpperCase() + "--##bigdata##")
      }
    })
    text2.print()

    //3.对每句话进行单词切分,一个element可以转化为多个element，这里是一个line可以转化为多个Word
    //map的只能对element进行1：1转化，而flatMap可以对element进行1：n转化
    val text3 = text.flatMap {
      new FlatMapFunction[String, Array[String]] {
        override def flatMap(s: String, collector: Collector[Array[String]]): Unit = {
          val arr: Array[String] = s.toUpperCase().split("\\s+")
          collector.collect(arr)
        }
      }
    }
    //显示结果的简单写法
    text3.collect().foreach(_.foreach(println(_)))
    //实际上是先获取Array[String],再从中获取到String
    text3.collect().foreach(arr => {
      arr.foreach(token => {
        println(token)
      })
    })
  }
}

执行结果：

text2.print()
FLINK VS SPARK--##bigdata##
BUFFER VS  SHUFFER--##bigdata##

text3.collect().foreach(_.foreach(println(_)))
FLINK
VS
SPARK
BUFFER
VS
SHUFFLE

filter

以element为粒度，对element进行过滤操作。将满足过滤条件的element组成新的DataSet

执行程序：

package code.book.batch.dataset.advance.api

import org.apache.flink.api.common.functions.FilterFunction
import org.apache.flink.api.scala.{ExecutionEnvironment, _}

object FilterFunction001scala {
  def main(args: Array[String]): Unit = {
    // 1.设置运行环境,并创造测试数据
    val env = ExecutionEnvironment.getExecutionEnvironment
    val text = env.fromElements(2, 4, 7, 8, 9, 6)

    //2.对DataSet的元素进行过滤，筛选出偶数元素
    val text2 = text.filter(new FilterFunction[Int] {
      override def filter(t: Int): Boolean = {
        t % 2 == 0
      }
    })
    text2.print()

    //3.对DataSet的元素进行过滤，筛选出大于5的元素
    val text3 = text.filter(new FilterFunction[Int] {
      override def filter(t: Int): Boolean = {
        t >5
      }
    })
    text3.print()
  }
}

执行结果：

text2.print()
2
4
8
6

text3.print()
7
8
9
6