Python到pyspark中的py-files的问题

在spark平台上执行Python算法涉及到Python程序的改写，其中import部分需要额外注意。如果我们在执行某个test.py程序时需要调用另外一个common.py,需要在test.py内部添加import common，而此时的import common 不能放在程序头部，需要放在context之后。同时在执行程序时需要–py-files 参数指定引用模块的位置。图2为通过livy调用的情况截图。