idea_pyspark 环境配置

关注

转载最新推荐文章于 2026-06-01 10:15:54 发布 1k 阅读 AI 写同款· GEO 优化 ›

理解SparkSession SparkSession是DataSet和DataFrame编写Spark程序的入口 SparkSession的功能：创建DataFrame 以关系型数据库中表的形式生成DataFrame，之后便可以执行SQL语句，适合小数据量的操作读取.parquet格式的文件，得到DataFrame 创建SparkSession对象： >>> spark = SparkSession.builder \ .master("local") \ ... 阅读详情

1、配置好Hadoop和spark

2、配置好Pytho3.5

3、安装py4j

　　pip3 install py4j

4、idea 中添加Python插件

file->setting->editor->plugins

右边搜索框中搜索Python，下载插件

5、下载完后，重启软件，建立Python项目，导入pyspark的包文件

导入步骤：file->project Structure->modules->右边栏中点dependencies->点添加->将"spark/python" 添加进去

6、test:

from pyspark.sql import SparkSession
if __name__ == "__main__":
    spark = SparkSession \
        .builder \
        .master("local") \
        .appName("PythonWordCount") \
        .getOrCreate()
    data = spark.read.csv("/lab/data/2/02singleentry.csv")
    data.show(10)
 
    spark.stop()

7、目前观察不能读取本地的数据，只能读取HDFS上的数据

转载地址：https://www.cnblogs.com/LazyJoJo/p/6910504.html

收录于