anaconda配置spark_python – 配置Spark以使用Jupyter Notebook和Anaconda

最新推荐文章于 2024-06-12 21:01:29 发布

weixin_39929259

最新推荐文章于 2024-06-12 21:01:29 发布

阅读量324

点赞数

文章标签： anaconda配置spark

本文链接：https://blog.youkuaiyun.com/weixin_39929259/article/details/113890478

版权

在尝试使Spark与Jupyter Notebook及Anaconda配合使用时遇到问题。已设置.bash_profile，包括路径、JAVA_HOME、PYTHON_PATH、PYSPARK_PYTHON等环境变量，并设定了启动Spark和Jupyter Notebook的指令。尽管可以通过命令行启动Spark，但在Jupyter Notebook中启动pyspark时，创建的Python3笔记本显示sc为空，提示存在PYTHONSTARTUP文件处理错误。尝试了创建初始化脚本解决问题，但错误依旧存在，寻求解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

我花了几天时间试图让Spark与我的Jupyter笔记本和Anaconda一起工作.这是我的.bash_profile的样子：

PATH="/my/path/to/anaconda3/bin:$PATH"

export JAVA_HOME="/my/path/to/jdk"

export PYTHON_PATH="/my/path/to/anaconda3/bin/python"

export PYSPARK_PYTHON="/my/path/to/anaconda3/bin/python"

export PATH=$PATH:/my/path/to/spark-2.1.0-bin-hadoop2.7/bin

export PYSPARK_DRIVER_PYTHON=jupyter

export PYSPARK_DRIVER_PYTHON_OPTS="notebook" pyspark

export SPARK_HOME=/my/path/to/spark-2.1.0-bin-hadoop2.7

alias pyspark="pyspark --conf spark.local.dir=/home/puifais --num-executors 30 --driver-memory 128g --executor-memory 6g --packages com.databricks:spark-csv_2.11:1.5.0"

当我输入/my/path/to/spark-2.1.0-bin-hadoop2.7/bin/spark-shell时,我可以在我的命令行shell中启动Spark.输出sc不是空的.它似乎工作正常.

当我键入pyspark时,它会启动我的Jupyter笔记本电脑.当我创建一个新的Python3笔记本时,会出现此错误：

[IPKernelApp] WARNING | Unknown error in handling PYTHONSTARTUP file /my/path/to/spark-2.1.0-bin-hadoop2.7/python/pyspark/shell.py:

我的Jupyter笔记本中的sc是空的.

有谁可以帮助解决这种情况？

只是想澄清一下：错误结束后冒号后面没有任何内容.我还尝试使用这个post创建我自己的启动文件,我在这里引用,所以你不必去看那里：

I created a short initialization script init_spark.py as follows:

06002

and placed it in the ~/.ipython/profile_default/startup/ directory

当我这样做时,错误变为：

[IPKernelApp] WARNING | Unknown error in handling PYTHONSTARTUP file /my/path/to/spark-2.1.0-bin-hadoop2.7/python/pyspark/shell.py:

[IPKernelApp] WARNING | Unknown error in handling startup files: