《Python+Spark 2.0+Hadoop机器学习与大数据实战》第9章在 IPython Notebook 运行 Python Spark 程序

最新推荐文章于 2024-04-28 02:36:38 发布

原创最新推荐文章于 2024-04-28 02:36:38 发布 · 1.1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#pyspark

Python+Spark 2.0+Hadoop机器学习与大数专栏收录该内容

1 篇文章

订阅专栏

本文介绍了如何在Anaconda环境下配置PySpark，并设置IPython Notebook以便于进行大数据处理任务。主要内容包括Anaconda环境变量配置、PySpark启动参数调整以及如何在远程访问场景下配置和使用IPython Notebook。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

参考博客：https://www.cnblogs.com/NaughtyBaby/p/5469469.html

参考书籍：《Python+Spark 2.0+Hadoop机器学习与大数据实战》

疑问：在

ANACONDA_PATH/bin目录下看到ipython2，还没查看与ipython的区别。

安装：

bash Anaconda2-5.2.0-Linux-x86_64.sh -b

编辑环境：

vi /etc/profile
export ANACONDA_PATH=/root/anaconda2
export PATH=$ANACONDA_PATH/bin:$PATH
export PYSPARK_DRIVER_PYTHON=$ANACONDA_PATH/bin/ipython
export PYSPARK_PYTHON=$ANACONDA_PATH/bin/python
source /etc/profile
python --version

先生成 notebook 配置文件：命令行执行 jupyter notebook --generate-config，然后打开生成的文件： vi ~/.jupyter/jupyter_notebook_config.py，修改 c.NotebookApp.ip = '127.0.0.1'。如果想外网也可以访问，ip 就设为外网 IP 地址。我选择的是第二种，设的外网 IP 地址，这样就可以在 Windows 上编辑 ipython notebook 文件了，非常方便。

mkdir -p /root/pythoneork/ipynotebook 
cd /root/pythoneork/ipynotebook
PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook" pyspark

运行 IPython Notebook 以使用 Spark：

PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook" MASTER=yarn pyspark --num-executors 1 --total-executor-cores 2 --executor-memory 512m

上面命令在sc.master查看到的结果是：

u'yarn-client'

在 Hadoop YARN master 模式运行 Python Notebook，这个是不行的，其实也不是这么提交的，而是作业提交
PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook" MASTER=yarn pyspark --deploy-mode cluster
报错误：Error: Cluster deploy mode is not applicable to Spark shells
据说cluster 模式不支持standalone clusters, Mesos clusters, or python applications模式，请参考：https://www.cnblogs.com/chengjunhao/p/8028264.html