ubuntu18.04安装pyspark+jupyter指南

最新推荐文章于 2025-06-09 16:19:41 发布

原创

最新推荐文章于 2025-06-09 16:19:41 发布 · 921 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#spark #hadoop

本文介绍了在Ubuntu18.04上安装PySpark和Jupyter的详细步骤，包括遵循特定博主的教程进行JDK、Spark、PySpark的安装，并强调不需要安装Hadoop。特别指出，若使用Jupyter，无需安装Zeppelin。同时，文章提醒注意JDK版本（1.8.0_281）、Spark（2.4.7-bin-hadoop2.7）和Python（3.7.0）的选择，避免使用不兼容的Anaconda版本。通过修改~/.bashrc文件设置环境变量，确保PySpark在Jupyter中正常运行，解决可能遇到的py4j问题。

1. jdk，spark，pyspark的安装请按照这位博主的教程进行，注意不需要安装hadoop

如果是使用jupyter运行的话，不需要安装第五步zeppelin

我的jdk版本是1.8.0_281，spark是2.4.7-bin-hadoop2.7，python是3.7.0（注意Anaconda版本不能太新，pyspark不支持python3.8以上的版本）

2. vim ~/.bashrc修改环境变量，在末尾添加

export JAVA_HOME=/home/cxq/java/jdk1.8.0_281
export JRE_HOME=/home/cxq/java/jdk1.8.0_281/jre
export SPARK_HOME=/home/cxq/spark/spark-2.4.7-bin-hadoop2.7
export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${SPARK_HOME}/bin:$PATH
export PYSPARK_PYTHON=python3
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"

# added by Anaconda3 5.3.1 installer
# >>> conda init >>>
# !! Contents within this block are managed by 'conda init' !!
__conda_setup="$(CONDA_REPORT_ERRORS=false '/home/cxq/anaconda3/bin/conda' shell.bash hook 2> /dev/null)"
if [ $? -eq 0 ]; then
    \eval "$__conda_setup"
else
    if [ -f "/

最低0.47元/天解锁文章