Flink读取一个文件或者一个集合的简单demo

最新推荐文章于 2025-08-14 18:17:10 发布

原创最新推荐文章于 2025-08-14 18:17:10 发布 · 201 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#flink

本文介绍了如何使用Apache Flink在Scala中从HDFS读取日志数据流，并演示了如何打印数据流的基本操作，展示了实时流处理的基础用法。

import org.apache.flink.streaming.api.scala._

case class Userinfos(userid:Int,username:String)
object First {
  def main(args: Array[String]): Unit = {
    //获取一个execution environment执行环境
    val env = StreamExecutionEnvironment.getExecutionEnvironment
    //创建数据流 stream sources，可以是文件，也可以是一个集合
    val ds = env.readTextFile("hdfs://192.168.181.132:9000/logs/20210321/log.1616340226374")
//    val ds = env.readTextFile("d:/log_2020-01-01.log")
	
//    val ds = env.fromCollection(
//      List(
//        Userinfos(1, "zs"),
//        Userinfos(2, "ls"),
//        Userinfos(3, "ww"),
//        Userinfos(4, "zl"),
//        Userinfos(5, "sq")
//      )
//    )
    //指定数据集的操作
    ds.print()
    //触发程序执行
    env.execute("mytest")
  }
}