spark使用独立的Python环境提交任务

背景

由于需要在公司的大数据平台上使用自己的Python环境，折腾了很久，特此记录

先说几个坑：

1. 需要注意版本，不同的spark版本会有些不同，当前我的spark版本是2.2.1，如果以下的方式不生效，记得先看看版本；
2. 由于公司平台的环境是离线的，pip down下载的包是需要和硬件架构匹配的，我在mac上pip down的包拿到Linux下是无法正常安装的，建议看一下这篇文章的介绍：https://imshuai.com/python-pip-install-package-offline-tensorflow，里面详细介绍了如果进行离线python环境的移植
3. 指定环境和路径是分开的，即使指定了环境，包内部也可能存在依赖丢失的问题

步骤

1. 创建虚拟python环境

这个不多介绍了，不管是通过annaconda还是virtualenv，创建好你自己的python环境。如果你也碰到了离线的平台，建议查看上面的 坑2：自己用docker做一个和服务器一样的系统版本，在上面完成虚拟的环境的创建，再将其拷贝出来；

2. 打包虚拟环境并将其上传hdfs

创建好环境后，进入到环境所在的文件夹，例如你的环境是 ***/**