Spark、Flink读取HDFS文件

最新推荐文章于 2025-11-02 21:53:14 发布

原创最新推荐文章于 2025-11-02 21:53:14 发布 · 2.1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#scala #hadoop #hdfs

Spark 专栏收录该内容

4 篇文章

订阅专栏

本文介绍使用Spark和Flink两种大数据处理框架读取HDFS文件的方法。通过具体的代码示例展示了如何配置环境、读取指定路径的文件，并进行简单的文本处理操作。

要读取文件的HDFS路径信息如下图
在这里插入图片描述
Spark读取HDFS文件代码示例如下

package demo
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object _00wcHDFS {
  def main(args: Array[String]): Unit = {
    val conf: SparkConf = new SparkConf
    conf.setMaster("local").setAppName("wc")
    val context: SparkContext = new SparkContext(conf)
    context.setLogLevel("error")
	//注意路径书写方式hdfs://   /flink...
    val sh: RDD[String] = context.textFile("hdfs:///flink/data/wc/submit.sh")
    val res: RDD[(String, Int)] = sh.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).filter(_._2>1)
    res.foreach(println)
  }

Flink读取HDFS文件代码示例如下

package demo
import org.apache.flink.api.scala._
import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment

object _01readHDFS {
  def main(args: Array[String]): Unit = {
    val env = StreamExecutionEnvironment.getExecutionEnvironment
    //注意路径书写方式hdfs://   /flink...
    val textStream = env.readTextFile("hdfs:///flink/data/wc/submit.sh")
    textStream.flatMap(_.split(" ")).map((_,1)).keyBy(0).sum(1).print()
    //读完就停止
    env.execute()
  }
}