pyspark.sql.utils.AnalysisException: u‘java.lang.IllegalArgumentException: Wrong FS

最新推荐文章于 2024-11-18 19:08:07 发布

原创最新推荐文章于 2024-11-18 19:08:07 发布 · 2.4k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#sql #java #spark

大数据入门同时被 2 个专栏收录

44 篇文章

订阅专栏

pyspark

2 篇文章

订阅专栏

在使用PySpark程序时遇到AnalysisException错误，原因是无法找到HDFS服务。解决方案是在SparkSession配置中添加'fs.defaultFS'参数，指定为'hdfs://namenode_hostname'，以确保能正确连接到HDFS。

问题

用pyspark写了程序，但是在跑的过程中报 pyspark.sql.utils.AnalysisException: u'java.lang.IllegalArgumentException: Wrong FS: hdfs://

现有代码的配置信息

spark = SparkSession.builder.appName(spark_application_name). \
    config('spark.port.maxRetries', 500). \
    config('spark.driver.maxResultSize', '64g'). \
    config('hive.exec.dynamici.partition', True). \
    config('hive.exec.dynamic.partition.mode', 'nonstrict'). \
    enableHiveSupport().getOrCreate()

是因为在执行过程中找不到hdfs的服务，所以需要在config中添加fs.defaultFS的信息

修改后代码

spark = SparkSession.builder.appName(spark_application_name). \
    config('spark.port.maxRetries', 500). \
    config('spark.driver.maxResultSize', '64g'). \
    config('hive.exec.dynamici.partition', True). \
    config('hive.exec.dynamic.partition.mode', 'nonstrict'). \
    config('fs.defaultFS', 'hdfs://namenode_hostname'). \
    enableHiveSupport().getOrCreate()