pyspark使用流程以及遇到的问题（windows版）

已于 2022-03-24 08:58:34 修改
阅读量7.6k 收藏 10
点赞数 5
分类专栏： Spark框架 文章标签： python spark linux
于 2022-03-23 15:31:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/OWBY_Phantomhive/article/details/123687413
版权
本文详细介绍了在Windows系统中安装和配置Pyspark的步骤，包括Java、Hadoop、Scala和Spark的安装，并提供了环境变量配置及错误排查方法。此外，还讲解了如何通过pip安装pyspark，以及启动pyspark的两种方式，包括命令行启动和使用findspark。文章最后列举了一些常见错误及解决策略，如版本兼容性问题和环境变量设置等。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文所使用方式为在windows独立环境中进行pyspark的开发，如需链接hdfs还是要借助虚拟机的，主要包含以下几个步骤

一、windows中的环境配置

1、java的安装

这里建议大家选择版本较低的java版本，如果版本较高可能会出现不兼容问题，Java和hadoop的安装流程我之前的文章里面有，大家可以看一下，这里附上链接
hadoop安装

2、hadoop的安装

hadoop安装

链接同上

3、scala的安装

先下载scala的压缩包,依然是官网地址,建议2.11的版本,因为后续我们使用的spark版本为2.4.3

直接解压压缩包即可,

建议所有的解压文件都放在同一目录下,以方便后续查找

在这里插入图片描述

解压完毕后,配置环境变量,SCALA_HOME,以及path

4、spark的安装

和scala一样，直接本地解压，就不用管了，当然，如果你比较讨厌看到红色的很多很多的日志信息，

最低0.47元/天 解锁文章
PySpark在windows上的开发环境搭建
二进制专栏
10-30 613
在windows本地创建pyspark的开发环境
Windows安装Pyspark
江西师范大学-20届-吴悠
04-23 3270
参考链接：https://blog.csdn.net/zhongjunlang/article/details/80816711?tdsourcetag=s_pcqq_aiomsg spark下载地址：http://spark.apache.org/downloads.html 最好是下载最新的spark，否则spark2.0以下是不支持Python3.6及其以上的 下载完成后解压 在Path中...
PySpark本地开发环境搭建
weixin_63297999的博客
10-30 546
PySpark : pip install pyspark==3.1.2 首先这个是pyspark的开发环境，这个软件安装在了 Annaconda里面，所以Annaconda 安装在了哪个盘，你这个pyspark 就在哪个盘。假如我没有在黑窗口安装这个pyspark ，就关联了pycharm ，请问，这个pycharm 如何才能有pyspark的环境？以上其实是在本地安装一个Spark软件，没有Spark环境，如何在本地写代码呢？默认安装到了一个非空文件夹下：ProgramData。点击“Create”。
PySpark的安装与使用
最新发布
Pluviophile_1110的博客
05-06 806
PySpark 是 Apache Spark 的 Python API，它结合了 Python 的简洁语法和 Spark 强大的分布式计算能力，广泛应用于大规模数据处理、机器学习、实时数据流分析和图计算等场景。通过 DataFrame、RDD 和 Dataset 等丰富的数据处理接口，PySpark 支持高效的数据操作和分析，并且能够无缝集成 Hadoop、Hive、Kafka 等大数据生态系统。
window10搭建pyspark（基于spark-3.0.0-bin-hadoop2）.docx
09-04
window10搭建pyspark的两种方法（基于spark-3.0.0-bin-hadoop2） 方法一： 最最简便的方法就是直接pip install pyspark 如果安装出现timeout，可以下载pyspark-3.0.0.tar，然后离线安装 方法：cd进入pyspark-3.0.0.tar解压的目录，里面有个setup.py 然后运行命令：python setup.py install, 等待安装完成，所以的环境问题都一次帮你解决完。
windows搭建pyspark环境详细教程
小颜颜6035的博客
05-17 4191
将hadoop.dll和winutils.exe均拷贝到D:\hadoop-2.7.1\bin下和C:\Windows\System32下（两个文件各拷贝一份）此时bin目录（D:\hadoop-2.7.1\bin）下可能没有hadoop.dll及winutils.exe文件，接下来安装py4j,在cmd中输入pip install py4j。变量值：D:\spark-3.0.0-bin-hadoop2.7。变量值：D:\jdk 也就是jdk的安装路径。变量值：D:\hadoop-2.7.1。
太详细了，在 Windows 上安装 PySpark 保姆级教程
m0_59596937的博客
12-12 9196
在本文中，我将和大家一起学习如何在 Windows 上安装和运行 PySpark，以及如何使用 Web UI 启动历史服务器和监控 Jobs。
Windows下pyspark环境搭建完整指南
总而言之，该压缩包是搭建Windows环境下PySpark环境的基础，涵盖了从安装Python解释器到配置Hadoop兼容层的整个流程，是数据工程师或大数据开发者在Windows平台上进行大规模数据处理和分析的重要资源。
Windows环境下配置PySpark指南
以上步骤是在Windows环境下安装PySpark的简化流程，实际操作过程中可能会遇到各种问题，需要根据具体情况进行调整和解决。特别注意版本兼容性问题，不同版本的软件之间可能存在不兼容的情况，需要按照官方推荐的版本...
pyspark配置
03-13
### PySpark 环境配置指南 #### 一、PyCharm 和 ...此外，考虑到 Windows 用户可能遇到权限问题或兼容性挑战，建议提前准备好 winutils.exe 和 hadoop.dll 文件并将它们放到适当的地方，从而避免潜在错误的发生。
Windows系统pyspark
s_daqing的博客
07-19 252
1、JDK（本文中使用JDK8） 下载：oracle官网https://www.oracle.com/cn/java/technologies/javase/javase-jdk8-downloads.html 注意：需要有账号才能下载，注册很麻烦，有如下网站可以在里面下载也可以使用里面的共享账号 http://www.codebaoku.com/jdk/jdk-oracle-account.html 下载完成后，进行安装： 安装完成后，配置Java的三个系统环境变量： JAVA_HOME: C:\Pr
windows系统pyspark安装、测试
luxika23的博客
01-14 1061
4.将spark文件夹下的pyspark文件复制（我的路径D:\SPARK-HADOOP-WINUTILS\hadoop\spark-3.3.4-bin-hadoop3\python\pyspark）6.安装py4j（直接终端pip，我没有用conda，用conda的可以再找找）ps：如果上面第5步路径找不到，也可以先安装py4j然后找py4j的目录，然后复制过去也行。在相同的迭代次数下使用spark的粒子群计算耗时没有增加，但是求解结果分布更紧密，解集质量更高。2.下载hadoop安装包（清华镜像）
windows安装pyspark
重剑无锋博客
08-04 389
pip install pyspark
windows环境下部署pyspark环境
达达的博客
05-31 389
安装前需要准备 spark安装包 pysaprk 下载spark安装包 下载链接: spark下载 不得不说现在spark支持度越来越高，官网给出了清华镜像源的地址。 下载之后把他解压到本地，然后记住这个位置，后面要用到。 这样就ok了 pycharm部署 使用pycharm新建一个项目 ...
windows下pyspark访问hive所需的环境搭建
热门推荐
小小明-代码实体的专栏
05-03 2万+
文章目录windows下pyspark访问hive所需的环境前提搭建hadoop2.7.2修改hadoop配置格式化hdfs测试搭建spark-2.4.5解压hive-2.1.0创建hive元数据库的schema测试spark-sql测试hivejupyter中使用pyspark使用pyspark访问本地hive测试pyspark 前言 学习大数据最困难的就是入门时的环境搭建，虽然那是对理解原理...
windows中pyspark的配置
定期分享我的发现和想法，感谢你的陪伴和支持
04-25 5267
遇到的各种报错汇总，包括有效的解决参考链接
windows上使用pyspark的较为详细教程（含安装）
qq_43590823的博客
08-05 3196
安装JDK 选择上述版本。 下载完成后双击安装即可。 之后是配置环境，详细步骤可以如下： 右键电脑——>属性——>高级系统设置 点击环境变量。 新建系统变量CLASSPATH=.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;%JAVA_HOME%\bin 新建系统变量JAVA_HOME=C:\Program Files\Java\jre1.8.0_261(这个是安装路径) 在PATH添加;%JAVA_HOME%\bin; 至此已经配置完.
在Windows下开发调试PySpark
光于前裕于后的博客
02-09 3696
Spark版本：2.4.0+cdh6.3.1 Spark-Windows版本：spark-2.4.0-bin-hadoop2.7 WinUtils版本：hadoop-2.7.1 Python版本：3.7.2 Java版本：1.8.0_121 Scala版本：2.11.8 按需安装 目录前言1 使用PyCharm开发PySpark直连Hive metastore1.1 下载相关包1.2 配置环境变量1.3 设置spark日志级别1.4 启动spark-sql1.5 创建测试表并插入数据1.6 安装相关包1.
Windows环境本地配置pyspark环境详细教程
积跬步，慕至千里的博客
01-17 3973
如何在windows环境本地配置pyspark环境，本文将过程进行了详细梳理和记录。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值