在windows安装部署spark(python版)

最新推荐文章于 2025-04-08 11:00:55 发布
最新推荐文章于 2025-04-08 11:00:55 发布
阅读量1.5w 收藏 22
点赞数 6
分类专栏： Spark 文章标签： spark python windows
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/HJXINKKL/article/details/57083549
版权
本文档详细介绍了在Windows10上安装部署Spark（Python版）的步骤，包括安装Java Jdk、Spark、Python以及配置相关环境变量，并提供了解决可能出现的"Java gateway process exited before sending the driver its port number"报错的方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

搭建的环境：

  • windows10-1607
  • spark-2.1.0
  • python-3.5.2

安装Java/Jdk

官网下载Java，这里我下的是8u121-windows-x64版本
下载JDK

安装完设置环境变量，添加JAVA_HOME和CLASSPATH
这里写图片描述

最低0.47元/天 解锁文章
Windows本地安装部署Spark及Pyspark
段智华的博客
04-09 1170
Windows本地安装部署Spark及Pyspark Windows环境安装配置 Pyspark 启动常见问题解决（系统找不到指定路径、Java gateway process exited before sending the driver its port number） 海报：业界AI课程分享，段智华邀你一起学习。本课程将从实际业务出发，基于Python3落地工作中经常碰到的分析与挖掘...
（windows）虚拟机搭建spark
huitailangZz的博客
09-23 3939
对于一个刚刚迈入数据领域的小白、大学生而言，可能有很多人和我一样，面对这种搭建平台知识懵懵懂懂，摸不到头绪，摸爬滚打，在无尽的报错和反复尝试受尽了折磨！在spark搭建之前，有很多的准备工作，你会明白搭建spark不只是搭建spark这么简单。下面我们一起尝试这走出这片苦海！对于一个全新的windows虚拟机，我们需要安装很多前提条件，如果你的虚拟机有jdk、python、hadoop，也需要对准好对应版本，他们大多数兼容性很差，稍有不慎就会出现报错，
Windows上配置Python+Spark开发环境
热门推荐
quintind的专栏
03-18 1万+
1、配置过程 详细配置步骤参考：Windows和PC机上搭建Spark+Python开发环境的详细步骤 按照上述配置过程，当采用Anaconda 5.1 （Python3.6）+java1.7.0_79+spark2.0.1+Hadoop2.6.0进行配置时，出现如下错误： AttributeError: 'module' Object has no attribute bool_ 出...
python：windows搭建spark环境（anaconda+pycharm）
weixin_44695491的博客
12-21 2699
一、anaconda部分配置 1、安装 在官网下载安装包，https://www.anaconda.com/products/individual，选择windows版本进行下载。下载完成后直接安装，一直点下一步就行。 2、配置环境变量 将下面三个加入电脑的环境变量Path中，我的anaconda安装路径是D:\professional_app\anaconda，大家按照直接的安装路径进行修改。 D:\professional_app\anaconda D:\professional_app\anacon
Spark 安装（windows）
最新发布
2402_87382229的博客
04-08 519
环境变量配置完成后验证spark是否安装成功，开启一个新的cmd窗口。输入：spark-shell 出现版本号即为安装成功。点击确定后 再编辑用户变量 点击path进行编辑。把spark安装包解压到一个新文件夹中。搜索环境变量 在系统变量中配置路径。复制spark安装包解压后的路径。环境变量设置完成后点击确定退出。
windows下利用python操作spark_大数据技术之python spark windows pycharm pyspark环境配置
weixin_40008644的博客
12-20 167
本篇教程探讨了大数据技术之python spark windows pycharm pyspark环境配置，希望阅读本篇文章以后大家有所收获，帮助大家对相关内容的理解更加深入。1、下载放在D盘添加SPARK_HOME=D:\spark-2.3.0-bin-hadoop2.7。并将%SPARK_HOME%/bin添加至环境变量PATH。然后进入命令行，输入pyspark命令。若成功执行。则...
Windows环境下配置python spark（windows7+python+spark）
小方哥哥的博客
10-14 820
@@注意，配置环境变量确保路径全部正确，比如我下载的安装包spark-1.6.0-bin-hadoop2.6/spark-1.6.0-bin-hadoop2.6/bin    文件路径这种，要去掉外层文件夹，额能理解吧！ @@环境变量配置网上有，注意，系统环境变量 path后面要加 ;分号 @@要安装java环境
Python执行spark程序配置
weixin_30631587的博客
09-23 298
spark没有配置Python环境变量的时候使用Python只用spark时候回出现 from pyspark import SparkConf,SparkContentImportError: No module named pyspark 所以要在环境变量中配置 打开 vim /etc/profile 添加 export SPARK_HOME=/usr/local/spark2....
winpythonhadoop_Python pycharm（windows版本）部署spark环境
weixin_39907939的博客
12-17 207
参考博文：https://www.cnblogs.com/nucdy/p/6776187.html一、 部署本地spark环境1.下载并安装好jdk1.8，配置完环境变量。2.Spark环境变量配置下载：http://spark.apache.org/downloads.html我下载的是spark-2.3.0-bin-hadoop2.7.tgz,spark版本是2.3，对应的hadoop版本是2...
spark_2_8_3 windows版
02-26
总的来说，Spark_2_8_3 Windows版为Windows用户提供了一个在本地系统上探索和实验大数据处理的平台。通过这个版本，你可以学习到Spark的基本用法，以及如何在非Hadoop环境中运行Spark作业。随着对Spark的理解深入，...
大数据-玩转数据-windows下python开发spark(pycharm)环境搭建
s_unbo的博客
12-31 1212
大数据-玩转数据-python开发spark(pycharm)环境搭建 说明： 需要在windows系统下开发spark程序，然后迁移程序到linux生产环境运行。 1.安装好JDK 下载并安装 jdk-17_windows-x64_bin.exe 配置环境变量： JAVA_HOME，值为Java安装路径 C:\Program Files\Java\jdk-17.0.1; 系统变量CLASSPATH .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;(注意
spark的python开发安装方式_Windows和PC机上搭建Spark+Python开发环境的详细步骤
weixin_39693662的博客
11-21 232
原标题：Windows和PC机上搭建Spark+Python开发环境的详细步骤 引 言自本人的Spark+R编程系列教程发布以来，很多读者来信询问Spark+Python开发环境的搭建方法，并希望由我一篇如何在个人PC和Windows上搭建Spark+Python开发环境的指导书。为此，我们撰写了本文..... 0准备工作查看操作系统的版本信息：计算机>>右键“属性”>>查看版本信息，如Windo...
windows10下python开发spark应用的环境搭建
SQL Server探索
11-06 2065
环境搭建主要涉及到3方面，第1是安装，第2是环境变量的配置，第3是验证安装和配置是否成功，总的涉及到以下5个部分。 环境变量配置是在 此电脑 -》 属性 -》 高级系统设置 -》 高级 -》 环境变量 中最下面的系统环境变量中 可以进行设置。 1、java 从官网下载，这里下载的是1.8.0_121版。 环境变量配置： 新增JAVA_HOMEC:\Program Files\J...
Python Spark的介绍与安装
笨笨的企鹅的专栏
07-22 2152
Python Spark的介绍与安装 1. Spark的Cluster模式架构图 2. Cluster Manager的运行模式 （1） 本地运行（Local Machine） （2） Spark Standalone Cluster （3） Hadoop YARN（Yet Another Resource Megotiator） （4）在云端运行 3. Scala的介绍与安装 （1）下...
windows下pycharm搭建spark环境，并成功运行（附代码）
weixin_44727274的博客
04-26 3496
一、创建项目和.py文件 二、在pycharm中添加spark环境 若是左侧的python中没有，可点击‘’+‘’号进行添加 配置spark环境：总共3个（SPARK_HOME、HADOOP_HOME、PYTHONPATH） （注：SPARK_HOME和HADOOP_HOME已在系统的环境变量添加，故这里不再添加） 在编写代码时，建议添加如下代码，保证程序能够运行成功： import os import sys import findspark # 一定要在最前面导入 '''初始化spark环
python 链接spark_Win10+Python3.6配置Spark创建分布式爬虫
weixin_42105570的博客
12-31 552
介绍Spark在Win 10系统中的的安装、配置以及在分布式爬虫中的使用，Python版本为3.6.8。Spark安装、配置和使用请参考《Python程序设计开发宝典》“第12章 多任务与并行处理：线程、进程、协程、分布式、GPU加速”(董付国著，清华大学出版社，2017.10)，京东：https://item.jd.com/12143483.html网络爬虫入门请参考《Python可以...
spark python3.5_Spark异常：worker中的Python版本与driver 3.5中的版本不同
weixin_39728221的博客
12-06 675
我使用的是Amazon EC2，我的主服务器和开发服务器是一体的。我还有一个单身工人的例子。我是新来的，但我已经设法使火花工作在一个独立的模式。现在我正在尝试群集。主程序和工作程序是活动的(我可以看到它们的webUI，它们正在运行)。我有Spark 2.0，我已经安装了最新的Anaconda 4.1.1，它与Python 3.5.2一起提供。在Works/Prand中，如果我去PyScand和OS...
Java gateway process exited before sending its port number
Song_zi_wei的博客
08-07 6711
Java gateway process exited before sending its port number
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值