在Linux Centos7 上使用pyspark Notebook

最新推荐文章于 2024-06-12 21:01:29 发布

原创最新推荐文章于 2024-06-12 21:01:29 发布 · 598 阅读

1 ·

CC 4.0 BY-SA版权

机器学习/数据挖掘同时被 2 个专栏收录

81 篇文章

订阅专栏

Spark

23 篇文章

订阅专栏

本文详细介绍了如何在服务器环境下安装Anaconda并配置Jupyter Notebook，包括添加root启动权限、修改配置文件以允许root运行、生成登录密码、设置远程访问及防火墙规则等步骤。

首先安装anaconda 参考:

https://blog.youkuaiyun.com/levy_cui/article/details/80898739

https://blog.youkuaiyun.com/levy_cui/article/details/51143153

anaconda安装时已经有了jupyter notebook，所以只需要配置好就可以！

一、添加root启动权限

如果输入  jupyter notebook --generate-config提示：
Running as root is not recommended. Use –allow-root to bypass.
则在后边加上 --allow-root
jupyter notebook --generate-config --allow-root

二、修改配置文件

vim /root/.jupyter/jupyter_notebook_config.py
将c.NotebookApp.allow_root = False前边的  '#'去掉，在把False修改为True

三、生成登录密码

因为采用的服务器环境所有建议生成一个密码

输入命令ipython
from notebook.auth import passwd
passwd()
Enter password:  输入一次密码
Verify password:  再次输入密码
sha1：ae9e423f48ae:a8................................

四、再次修改配置文件

vi /root/.jupyter/jupyter_notebook_config.py
c.NotebookApp.ip='*'
c.NotebookApp.password = u'sha1:ae9e423f48ae:a8................................'
c.NotebookApp.open_browser = False
c.NotebookApp.port =8888    #任意空闲端口，使用默认8888也可以

五、启动

 jupyter notebook  --ip=0.0.0.0 --no-browser --allow-root
 如果打开输入地址无法访问则需要关闭一下防火墙
 systemctl stop firewalld.service  #关闭firewall
 systemctl disable firewalld.service #禁止firewall开机启动
 firewall-cmd --state #查看默认防火墙状态（关闭后显示notrunning，开启后显示running）

在阿里安全组规则里开放你的开放端口比如这里的8888

最后再次启动命令行出现：

浏览器输入http://IP地址:8888 出现notebook界面这样就成功了

六、在notebook上使用pyspark，输入命令：

PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook" MASTER=local[*] pyspark