Spark通信原理之Python与JVM的交互

我们知道Spark平台是用Scala进行开发的，但是使用Spark的时候最流行的语言却不是Java和Scala，而是Python。原因当然是因为Python写代码效率更高，但是Scala是跑在JVM之上的，JVM和Python之间又是如何进行交互的呢？

在实际运行过程中，JVM并不会直接和Python进行交互，JVM只负责启停Python脚本，而不会向Python发送任何特殊指令。启动脚本同执行外部任意进程的方法是一样的，就是调用Runtime.exec(command)生成python子进程。停止Python进行就是调用Process.destroy()和Process.destroyForcibly()杀死子进程，destroy方法使用SIGTERM信号通知Python进程主动退出，如果Python一段时间不响应，就会使用destroyForcibly方法发送SIGKIL信号强制杀死Python进程。