pyspark：通过sh脚本传参到python文件中

原创于 2020-05-24 09:46:29 发布 · 1k 阅读

CC 4.0 BY-SA版权

文章标签：

38 篇文章

订阅专栏

本文介绍了一种使用Shell脚本与Python脚本协同工作的方法，通过my.sh文件调用feat_2.py，实现参数传递及数据处理流程自动化。注意在Shell脚本中变量赋值时，“=”符号两边不可留空格。

这个过程需要两个文件，

其中一个是my.sh文件

DT=$1
……
--driver-memory 6g \
--executor-memory 6g \
--executor-cores 2 \
feat_2.py $DT

另外一个是

feat_2.py

if __name__ == "__main__":
    import sys
    dt = sys.argv[1]
    sd, ed = Util.raise_dt_str(dt, 20)

运行的命令是

sh my.sh 20200410 &

这样就可以把字符串20200410传入main函数

Note：sh文件中定义的DT变量的"="，左右不能有空格，这个要注意哈！