u012338969的博客

1.配置环境变量 pyspark是在anaconda里面安装的，默认前面spark与hadoop，java路径已经配置，这里只需要配置pyspark 2．安装findspark pip install findspark 3.调用pyspark 创建notebook并findspark 在新建的notebook里面运行以下代码。 import findspark findspark.init('D:\\spark-3.1.3-bin-hadoop3.2') findspark.find() 'D

1.什么是Jupyter Project Jupyter exists to develop open-source software, open-standards, and services for interactive computing across dozens of programming languages.[ Jupyter计划的存在是为了开发开放源码软件，开放标准并且为十几种编程语言提供互动式计算服务。 2.JupyterLab环境配置 无论是在Windows，WSL还是Linux中配置

最近重新装了系统，需要对spark与pyspark重新配置下。于是写了这篇文章，希望对从事这个行业的人员能有所帮助： 1.准备阶段 准备以下版本的安装包，不同的版本号之间会发生兼容性问题，如果采用版本以下不一致，建议看完本文再动手，有些本人已经踩过坑，会在下文提示。 1.Anaconda3-2021.11-Windows-x86_64 2.jdk-8u40-windows-x64 3.hadoop-3.2.2.tar.gz 4.scala-2.12.15 5.spark-3.1.3-bin-hadoop3.

1.pip 1.1利用网络安装 pip install 库名 这种方法不好： 第一、包之间的兼容性不会全面考虑，可能安装后，会产生冲突。 解决方法：conda install 第二、有时候下载速度慢 解决方法 pip install 库名 -i 其他镜像网站： 华为：https://repo.huaweicloud.com/repository/pypi/simple 清华：https://pypi.tuna.tsinghua.edu.cn/simple 阿里云：http://mirrors.aliyun.