py4j.protocol.Py4JJavaErro PySpark 读取文件的方法

HeatDeath

于 2018-08-20 14:53:54 发布

阅读量1.2w

点赞数 1

分类专栏： Spark

本文为博主原创文章，未经博主允许不得转载。哈哈哈

本文链接：https://blog.youkuaiyun.com/HeatDeath/article/details/81871113

版权

当新手使用pyspark时，可能会遇到Py4JJavaError异常，这通常由于不正确的文件路径导致。pyspark读取本地文件可直接指定路径，而读取HDFS文件需使用HDFS协议。解决方法包括参照相关教程，了解正确路径格式。参考链接包含详细解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

py4j.protocol.Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.collectAndServe.

异常的解决办法：

通常是新手在刚开始使用 pyspark 的时候，对于 spark 文件读取路径不太理解导致的异常

pyspark 读取本地文件和HDFS文件的方式：

 '''# hdfs目录格式如下'''
input_data_path = "hdfs://localhost:9002/input/2017-11*"

 '''# 本地文件目录'''
input_data_path="file:///Users/a6/Downl