Flink读取文件数据的两种方式

最新推荐文章于 2024-12-18 13:54:57 发布

原创

最新推荐文章于 2024-12-18 13:54:57 发布 · 3.7k 阅读

1 ·

CC 4.0 BY-SA版权

本文介绍了如何使用Scala和Java两种方式在Flink中读取CSV和Text文件数据，提供了详细的操作方法，并引用了官方文档作为参考资料。

概述：Flink数据源（Data Sources）可以来自Java collections，也可以来自文件。本文主要介绍分别使用Scala和Java从CSV、Text中读取数据的方法，更详细信息可以参阅官方文档。

（1）Scala方式

/**
    * map算子
    *
    * @param env
    */
def mapFunction(env: ExecutionEnvironment): Unit = {
    import org.apache.flink.api.scala._
    val data = env.fromCollection(List(1, 2, 3, 4, 5, 6, 7, 8, 9, 10))
    //    data.map((x:Int)=>x+1).print()
    //    data.map((x)=>x+1).print()
    //    data.map(x=>x+1).print()
    data.map(_ + 1).filter(_ > 5).print()
}

/**
    * 读取压缩文件
    *
    * @param env
    */
def readCompressionFiles(env: ExecutionEnvironment): Unit = {
    val filePath = "E:\\compression"
    env.readTextFile(filePath).print()
}

/**
    * 读取嵌套文件
    *
    * @param env
    */
def readRecursiveFiles(env: ExecutionEnvironment): Unit = {
    val fi