【Spark+NLP】21、在pyspark上使用tensorflow框架和tensorflowonspark框架

安装方法见上上篇。

踩坑：

明明安装成功了tensorflow和tensorflowonspark，却在pyspark上用不起来。

报错：>>> import tensorflow as tf
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ImportError: No module named tensorflow

原因：

网上说的解决方案基本都是改路径之类的，对我不生效。

观察后发现，python的版本不对！现在我们用的是最新的python3 。而pyspark用的python2.

 

解决：

修改环境配置文件：vim ~/.bashrc，添加如下的环境变量设置

            export PYSPARK_PYTHON=python3

            保存后，使文件生效：source ~/.bashrc

启动pyspark，看是否已经使用最新版本的python

再导入tensorflow和tensor