Exception: Java gateway process exited before sending its port number

最新推荐文章于 2024-11-13 20:48:41 发布

caixxiong

最新推荐文章于 2024-11-13 20:48:41 发布

阅读量4.2k

点赞数

CC 4.0 BY-SA版权

文章标签： spark python exception

本文链接：https://blog.youkuaiyun.com/qq_24406903/article/details/85167356

本文针对Exception:Javagatewayprocessexitedbeforesendingitsportnumber异常，分享了作者从使用python命令到spark-submit命令解决问题的过程。指出正确提交Spark Python程序的方法，避免常见错误。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

特别要注意,我这个问题是:
“Exception: Java gateway process exited before sending its port number”,
而不是下面这个:
“Exception: Java gateway process exited before sending the driver its port number”,

下面那个异常多了一个"the driver",在网上搜了一下,基本上都是加环境变量和路径用于解决后一个问题的(说在bashrc文件中配置的变量,只能用于spark shell中,不能用于应用程序,所以需要在程序里再添加环境变量和路径,但是实际上我用os模块打印了一下那些环境变量,都有值,所以其实也不需要在程序中添加,这个可能和spark的配置有关系吧)

各种解决第二个问题的教程,但是我出现的是第一个问题呀!(汗),其实我出现第二个问题,是因为我提交程序用的是: python hehe.py,而不是用的spark-submit hehe.py,也就是说提交spark的python程序,最好用spark-submit,而不是python.

之前用python运行程序,就出现错误.
在这里插入图片描述
改用spar-submit运行就好了