pyspark报错 java.lang.ClassNotFoundException: org.graphframes.GraphFramePythonAPI

最新推荐文章于 2025-03-29 10:47:59 发布

水母君98

最新推荐文章于 2025-03-29 10:47:59 发布

阅读量1.1k

点赞数

分类专栏：环境报错文章标签： spark scala jar bug

本文链接：https://blog.youkuaiyun.com/m0_37754282/article/details/110086095

版权

在使用spark3.0 + scala2.12版本时，启动pyspark遇到java.lang.ClassNotFoundException: org.graphframes.GraphFramePythonAPI错误。解决方法是在首次启动时指定graphframe的jar依赖，确保下载正确版本并放入指定目录。按照教程操作后，问题得到解决，现在可以在Spark中正常运行GraphFrame相关代码。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在这里我用的是spark3.0 + scala2.12版本

首先在cmd上启动pyspark
这里有一个小度量，第一次使用参数启动pyspark，以便它下载所有graphframe的jar依赖项，很多教程启动的时候并没有指定依赖包，这可能会发生错误：（根据你的spark版本去graphframe官网找到对应的下载命令）

官网链接：graphframes

比如我下载对应的0.8.0-spark3.0-s_2.12 后，将它放入spark启动时对应的文件目录下
在终端输入

pyspark --packages graphframes:graphframes:0.8.0-spark3.0-s_2.12 --jars graphframes-0.8.0-spark3.0-s_2.12.jar

在这里插入图片描述

完成
再次在spark中新建ipynb文件运行

sc.addPyFile("../graphframes-0.8.0-spark3.0-s_2.12.jar")

from graphframes import *
from pyspark.sql.functions import *

举个栗子：

# Vertics DataFrame
v = spark.createDataFrame([

最低0.47元/天解锁文章