问题:pyspark中用到的pyarrow模块在计算节点上无法导入
原因:anaconda须在所有节点上安装,且保证用户所用的python指向正确
解决:所有节点上安装了anaconda,保证所有anaconda所有用户都能访问与执行。再将/usr/bin目录下的python软连接到anaconda目录下的python。使anaconda中的python为默认
问题:pyspark中用到的pyarrow模块在计算节点上无法导入
原因:anaconda须在所有节点上安装,且保证用户所用的python指向正确
解决:所有节点上安装了anaconda,保证所有anaconda所有用户都能访问与执行。再将/usr/bin目录下的python软连接到anaconda目录下的python。使anaconda中的python为默认