验证spark安装_Polynote安装和初体验

Polynote是一款强大的Web编程笔记本,支持Scala, Spark, Python, SQL等多种语言,方便数据分析师和科学家组合使用不同语言进行高效数据分析。它强调免于环境切换,但需注意其自身无内置安全措施,需在安全服务器上部署。安装涉及Python环境和依赖项配置,如遇到Python.h缺失问题,需安装相应版本的Python开发库。后续将分享更多Polynote的使用技巧。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

2c81bf1e51700c0f6ed8f591e7a2f517.gif

介绍

看了上面的图片介绍Polynote是不是感觉很牛.

Polynote是基于Web的编程笔记本工具。集成了Scala,Spark,Python,SQL等,是数据分析的好帮手,可以快速有效的用自己熟悉的多种语言来组合分析数据,使更多的精力用来分析,而不用切换多个环境来分析.

可以更好的服务数据分析师,数据科学家和机器学习研究人员.

更多的介绍请关注官网: 官方网址

它目前不包含任何内置的安全性或身份验证,并且完全依赖于用户以安全方式进行部署和配置。

Polynote只能部署在具有自己的安全性和身份验证机制的安全服务器上,以防止所有未经授权的网络访问。

您对运行Polynote所造成的任何损坏或其他损失负全责。

安装

安装过程参考: 官方教程

  • 下载相对应的稳定版本 下载地址
  • 目前测试成功的是linux和MacOS两个系统
  • 安装环境,需要提前安装Python3,然后执行下面的命令安装依赖
  • 1 pip3 install numpy pandas jep jedi virtualenv
  • 配置文件config-template.yml 复制一份config.yml1 2 3 listen: host: 0.0.0.0 //默认是 127.0.0.1 如果需要远程访问需要修改 port: 8192
  • 运行服务1 ./polynote.py

FAQ

  1. 安装jep 可能报错: fatal error: Python.h: No such file or directory

因为安装的一些依赖库使用了c扩展,需要编译,然后又找不到头文件和静态库导致的。编译这些c库需要的依赖库由python dev提供:所以安装对应版本的dev就好了,這里的系统环境是CentOS7

1 yum install python36-devel

其他的系统使用对应系统命令安装python dev就好了

  1. 部署在服务器,使用默认的配置文件,不能远程访问

配置文件中 127.0.0.1 改成 0.0.0.0 即可

总结

Polynote功能太强太多,后面会持续分享其中的功能,如果你有特别感兴趣的方向,还请留言.

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值