pyspark 判断文件夹是否存在,如果存在就删除,避免了因为文件存在,保存失败问题
产考文档:https://stackoverflow.com/questions/30405728/apache-spark-check-if-file-exists?lq=1
fs = self.sc._jvm.org.apache.hadoop.fs.FileSystem.get(spark.sparkContext._jsc.hadoopConfiguration())
is_exist = fs.exists(spark.sparkContext._jvm.org.apache.hadoop.fs.Path(
"hdfs://mishibigdata01:8020/mishi_sales_forecast/models/"))
# 如果存在,就删除
if is_exist:
fs.delete(spark.sparkContext._jvm.org.apache.hadoop.fs.Path(
"hdfs://mishibigdata01:8020/mishi_sales_forecast/models/"), True)

本文介绍如何使用PySpark检查HDFS中特定路径的文件夹是否存在,并在存在时进行删除,以解决因文件已存在而导致的保存失败问题。通过具体代码示例,展示了如何利用PySpark的Hadoop文件系统API实现这一功能。

被折叠的 条评论
为什么被折叠?



