vscode配置spark

最新推荐文章于 2024-12-02 10:44:15 发布

wyju

最新推荐文章于 2024-12-02 10:44:15 发布

阅读量5.9k

点赞数 2

文章标签： python

本文链接：https://blog.youkuaiyun.com/weixin_45955039/article/details/123586363

版权

本文详细介绍了如何在VSCode中配置Spark环境，包括解压Spark、设置环境变量、安装py4j、创建工作目录，以及编写并运行Python Spark程序进行WordCount操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 解压Spark压缩包到D盘，如下图所示：

2.在环境变量中配置SPARK_HOME，如下图所示：

SPARK_HOME

自己的路径
D:\axc\spark-2.4.6-bin-hadoop2.7

在这里插入图片描述

3.把SPARK_HOME 设置为python的exe文件

PYSPARK_PYTHON

自己的路径
C:\Users\wyj\AppData\Local\Programs\Python\Python37\python.exe

在这里插入图片描述

4. 复制spark下的pyspark目录到python安装目录下的lib目录，如下图所示：

在这里插入图片描述

5. 通过cmd执行pip install py4j命令安装py4j，py4j是一个在python中调用java代码的第三方库。效果如下图所示：

在这里插入图片描述

6.在D盘创建spark目录，存储我们的spark代码。

7.打开vscode，打开问哦们创建的存放spark代码的文件夹

8.在VsCode中创建0-TestSpark.py文件，填入以下内容：

from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("WordCount").getOrCreate()
spark.sparkContext.textFile("file:///D:/spark-2.4.6-bin-hadoop2.7/README.md")\
        .flatMap(lambda x: x.split(' '))\
        .map(lambda x: (x, 1))\
        .reduceByKey(lambda x, y: x + y)\
        .foreach(print)