Spark、Flink读取HDFS文件

最新推荐文章于 2023-12-26 17:20:57 发布

lin·show

最新推荐文章于 2023-12-26 17:20:57 发布

阅读量2.1k

点赞数

分类专栏： Spark 文章标签： scala hadoop hdfs

本文链接：https://blog.youkuaiyun.com/shulinshulinzi/article/details/113586205

版权

Spark 专栏收录该内容

4 篇文章

订阅专栏

本文介绍使用Spark和Flink两种大数据处理框架读取HDFS文件的方法。通过具体的代码示例展示了如何配置环境、读取指定路径的文件，并进行简单的文本处理操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

要读取文件的HDFS路径信息如下图
在这里插入图片描述
Spark读取HDFS文件代码示例如下

package demo
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object _00wcHDFS {
  def main(args: Array[String]): Unit = {
    val conf: SparkConf = new SparkConf
    conf.setMaster("local").setAppName("wc")
    val context: SparkContext = new SparkContext(conf)
    context.setLogLevel("error")
	//注意路径书写方式hdfs://   /flink...
    val sh: RDD[String] = context.textFile("hdfs:///flink/data/wc/submit.sh")
    val res: RDD[(String, Int)] = sh.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).filter(_._2>1)
    res.foreach(println)
  }

Flink读取HDFS文件代码示例如下

package demo
import org.apache.flink.api.scala._
import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment

object _01readHDFS {
  def main(args: Array[String]): Unit = {
    val env = StreamExecutionEnvironment.getExecutionEnvironment
    //注意路径书写方式hdfs://   /flink...
    val textStream = env.readTextFile("hdfs:///flink/data/wc/submit.sh")
    textStream.flatMap(_.split(" ")).map((_,1)).keyBy(0).sum(1).print()
    //读完就停止
    env.execute()
  }
}