windows+pycharm搭建spark开发环境

最新推荐文章于 2025-06-09 16:25:40 发布

Mars_sock

最新推荐文章于 2025-06-09 16:25:40 发布

阅读量766

点赞数 1

CC 4.0 BY-SA版权

分类专栏： spark 文章标签： pyspark python

本文链接：https://blog.youkuaiyun.com/Mars_sock/article/details/89709629

spark 专栏收录该内容

3 篇文章

订阅专栏

本文详细介绍了如何在Windows环境下使用PyCharm搭建Spark开发环境。通过在PyCharm中配置Spark和py4j包，可以实现Python与Spark的无缝对接。文中还提供了测试代码示例，帮助读者验证环境搭建是否成功。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

windows+pycharm搭建spark开发环境

创建python文件
点击 file >> setting >> Project:PythonProject >> Prohject Structure
- 添加pyspark.zip和py4j包到项目中（这两个文件在spark安装包的D:\apps\spark-2.3.2-bin-hadoop2.7\python\lib中）
编写代码测试：

from pyspark import SparkContext

sc = SparkContext(master='local[2]',appName='pyspark')

rdd = sc.parallelize([1, 2, 3, 4, 5, 6])

print(rdd.collect())

sc.stop()