mac pyspark运行报错

最新推荐文章于 2024-02-20 16:18:36 发布

原创最新推荐文章于 2024-02-20 16:18:36 发布 · 501 阅读

0 ·

CC 4.0 BY-SA版权

本文详细介绍了在使用PySpark时遇到的Python版本不一致问题，解释了如何避免驱动程序与工作节点上的Python版本差异导致的错误。通过调整环境变量PYSPARK_PYTHON和PYSPARK_DRIVER_PYTHON，确保两者使用相同的Python版本，从而解决了因版本不匹配引发的异常。

1.20/06/08 17:58:27 ERROR Executor: Exception in task 0.0 in stage 0.0 (TID 0) org.apache.spark.api.python.PythonException: Traceback (most recent call last): File "/usr/local/spark/python/lib/pyspark.zip/pyspark/worker.py", line 469, in main ("%d.%d" % sys.version_info[:2], version)) Exception: Python in worker has different version 2.7 than that in driver 3.7, PySpark cannot run with different minor versions.Please check environment variables PYSPARK_PYTHON and PYSPARK_DRIVER_PYTHON are correctly set.
原因 :运行的是python3 **.py文件
改为: python **.py文件就可以了

问题:
每次打开命令行都需要重新导入? 关于pyspark和py4j导入模块报错.参加如下链接
https://blog.youkuaiyun.com/l_ibrary/article/details/106616054

关于pyspark为何链接到了python3:
https://blog.youkuaiyun.com/l_ibrary/article/details/106614373
是因为之前设置了吗?