验证spark安装_Polynote安装和初体验

介绍

看了上面的图片介绍Polynote是不是感觉很牛.

Polynote是基于Web的编程笔记本工具。集成了Scala,Spark,Python,SQL等,是数据分析的好帮手,可以快速有效的用自己熟悉的多种语言来组合分析数据,使更多的精力用来分析,而不用切换多个环境来分析.

可以更好的服务数据分析师,数据科学家和机器学习研究人员.

更多的介绍请关注官网: 官方网址

它目前不包含任何内置的安全性或身份验证，并且完全依赖于用户以安全方式进行部署和配置。

Polynote只能部署在具有自己的安全性和身份验证机制的安全服务器上，以防止所有未经授权的网络访问。

您对运行Polynote所造成的任何损坏或其他损失负全责。

安装

安装过程参考: 官方教程

• 下载相对应的稳定版本 下载地址
• 目前测试成功的是linux和MacOS两个系统
• 安装环境,需要提前安装Python3,然后执行下面的命令安装依赖
• 1 pip3 install numpy pandas jep jedi virtualenv
• 配置文件config-template.yml 复制一份config.yml1 2 3 listen: host: 0.0.0.0 //默认是 127.0.0.1 如果需要远程访问需要修改 port: 8192
• 运行服务1 ./polynote.py

FAQ

1. 安装jep 可能报错: fatal error: Python.h: No such file or directory

因为安装的一些依赖库使用了c扩展，需要编译，然后又找不到头文件和静态库导致的。编译这些c库需要的依赖库由python dev提供:所以安装对应版本的dev就好了,這里的系统环境是CentOS7

1 yum install python36-devel

其他的系统使用对应系统命令安装python dev就好了

1. 部署在服务器,使用默认的配置文件,不能远程访问

配置文件中 127.0.0.1 改成 0.0.0.0 即可

总结

Polynote功能太强太多,后面会持续分享其中的功能,如果你有特别感兴趣的方向,还请留言.