spark读取hdfs文件过滤临时文件 scala

最新推荐文章于 2023-12-26 17:20:57 发布

原创最新推荐文章于 2023-12-26 17:20:57 发布 · 690 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #hdfs

spark 专栏收录该内容

1 篇文章

订阅专栏

本文介绍了一种在Spark中读取HDFS文件时过滤掉不需要的.tmp暂存文件的方法，通过自定义PathFilter实现精确控制，确保数据处理流程的高效与准确。

spark读取hdfs中文件的时候，.tmp文件不是我们需要的，需要进行过滤

import org.apache.hadoop.fs.{Path, PathFilter}


/**
  * filter temp files in hdfs dirs
  * eg: 1234556.tmp
  */
class FilterTmpPath extends PathFilter {

  @Override
  def accept(path:Path):Boolean = {
    val tmpStr = path.getName()
    if(tmpStr.endsWith(".tmp")) {
      return false
    }
    return true
  }
}