前言:
自己想在jupyter跑起来pyspark的环境,不想在ubuntu下简陋的编辑环境,说白就是想要一个编辑器:
在jupyterlab就可以这样编辑了# 也是最后成功的画面
实现步骤
整一个详细的步骤在参考文献哪里已经拥有,这这篇博文的目的是为了下次自己换一台电脑如何快速搭建起来自己可以学习pyspark sql的环境所需。因为时间的原因,各个版本都在不断迭代,即是我看下面大佬博文来学习搭建,奈何自己已经找到所需要的版本,所以会踩很多坑,现在将自己整理所有配置文件夹打包放在这里,下次自己就能快速搭建自己的环境了。
- hadoop-3.2.3
- hadooponwindows-master 用于替换文件,得到winutils.exe文件
- scala