scala 删除hdfs文件demo

最新推荐文章于 2021-05-17 15:50:27 发布

chenlongzhen_tech

最新推荐文章于 2021-05-17 15:50:27 发布

阅读量4.7k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： hadoop spark&sparkr 文章标签： scala

本文链接：https://blog.youkuaiyun.com/sadfasdgaaaasdfa/article/details/50853758

spark&sparkr 同时被 2 个专栏收录

30 篇文章

订阅专栏

hadoop

9 篇文章

订阅专栏

本文提供了一个使用 Scala 编写的简单示例，演示如何在 Hadoop 分布式文件系统 (HDFS) 中删除指定路径的文件或目录。通过创建并配置 HDFS 客户端，检查目标路径是否存在，并在确认后进行删除操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

    def delete(master:String,path:String): Unit ={
      println("Begin delete!--" + master+path)
      val output = new org.apache.hadoop.fs.Path(master+path)
      val hdfs = org.apache.hadoop.fs.FileSystem.get(
      new java.net.URI(master), new org.apache.hadoop.conf.Configuration())
      // 删除输出目录
      if (hdfs.exists(output)) {
        hdfs.delete(output, true)
        println("delete!--" + master+path)
      }
  }