安装Anaconda后，编辑~/.bashrc或者~/.bash_profile文件：
export PATH=/yourpath/anaconda2/bin:$PATH然后使用ipython启动spark shell
PYSPARK_DRIVER_PYTHON=ipython $SPARK_HOME/bin/pyspark就可以在pyspark shell中使用Anaconda中的python工具包了。
Spark和Anaconda结合
最新推荐文章于 2024-10-31 20:37:20 发布
本文介绍如何在安装Anaconda后配置环境变量以便在PySpark shell中使用Anaconda中的Python工具包。通过编辑~/.bashrc或~/.bash_profile文件并设置相应的路径，可以实现在PySpark环境中无缝调用Anaconda的Python库。
扫一扫
2817
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
