spark验证文件夹下文件数量

最新推荐文章于 2024-04-08 16:45:52 发布

RazorH

最新推荐文章于 2024-04-08 16:45:52 发布

阅读量956

点赞数

CC 4.0 BY-SA版权

分类专栏： spark

本文链接：https://blog.youkuaiyun.com/qq_36342616/article/details/99297774

spark 专栏收录该内容

4 篇文章

订阅专栏

本文介绍了一种在HDFS中判断指定路径下是否存在parquet文件的方法，通过获取文件夹的文件数量来间接判断是否存在除_success文件之外的数据文件。若文件数量大于1，则读取并处理parquet数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

有个需求，需要判断文件夹下是否有parquet文件，但是涉及到中间有一层/id=vin号/文件目录，无法用通配符、

由此转化为判断hdfs文件夹下文件数量来判断。

代码为

    val hadoopfs: FileSystem = FileSystem.get(spark.sparkContext.hadoopConfiguration)
    val file = hadoopfs.getContentSummary(new Path(inputPath)).getFileCount
    if (file > 1){
      val parquet_DF: DataFrame = spark.read.parquet(inputPath)
        .withColumn("exception_cells",convert($"cells"))
        .select("vin", "start_charge_time", "end_charge_time","anomaly_type", "cells")
        .drop("cells")

      writeSQL(parquet_DF,sql_url,user,password,table)
    }else{
      println("parquet file not exist")
    }

file为该文件加下文件数量。如果大于1（不光只有_success文件）则说明跑出来数据了。