pyspark入门系列 - 02 pyspark.sql入口 SparkSession简介与实践

最新推荐文章于 2025-10-31 18:25:03 发布

原创

最新推荐文章于 2025-10-31 18:25:03 发布 · 5.3k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#数据挖掘 #spark #大数据

SparkSesson为使用Dataset和DataFrame API编程Spark的入口点。

SparkSesson对象可以创建DataFrame，将Dataframe注册为表，并在表上执行SQL、缓存表、读parquet文件等，通过下面的方式创建SparkSesson

from pyspark.sql import SparkSession

spark = SparkSession.builder.master('local').appName('Word-Count').config('"spark.some.config.option", "some-value"'

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

铁甲大宝

关注关注

0
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

PySpark数据分析基础：pyspark.sql.SparkSession类方法详解及操作+代码展示

m0_67402236的博客

08-02

2532

SparkSQL是用于结构化数据处理的Spark模块。它提供了一种称为DataFrame的编程抽象，是由SchemaRDD发展而来。不同于SchemaRDD直接继承RDD，DataFrame自己实现了RDD的绝大多数功能。SparkSQL增加了DataFrame（即带有Schema信息的RDD），使用户可以在SparkSQL中执行SQL语句，数据既可以来自RDD，也可以是Hive、HDFS、Cassandra等外部数据源，还可以是JSON格式的数据。PySpark数据分析基础。...

Pyspark学习二：快速入门基本数据结构

Y1n的博客

04-04

2306

实际工作中其实不需要自己安装和配置，更重要的是会用。所以就不研究怎么安装配置了。前面介绍过：简单来说，Spark是一款分布式的计算框架，用于调度成百上千的服务器集群，计算TB、PB乃至EB级别的海量数据。Spark作为全球顶级的分布式计算框架，支持众多的编程语言进行开发。

参与评论您还未登录，请先登录后发表或查看评论

pyspark.sql.SparkSession

qq_40176087的博客

08-23

1503

文章目录启动spark程序 SparkSession作为Dataset和DataFrame 进行Spark编程的入口点。SparkSession可用于创建DataFrame，将DataFrame注册为表，在表上执行SQL，缓存表以及读取文件。启动spark程序 from pyspark.sql import SparkSession spark=SparkSession.builder.appN...

PySpark 入门：分布式数据处理与 SQL 查询

最新发布

2501_93877247的博客

10-31

298

PySpark 基于 Spark 引擎，适用于大数据分析。分布式处理：数据分布在多个节点上并行计算，提升效率。内存计算：减少磁盘 I/O，加速任务。多语言支持：除 Python 外，还兼容 Scala、Java 等。SQL 集成：通过 Spark SQL，可直接运行 SQL 查询。：Spark 的核心数据结构，表示不可变分布式数据集。DataFrame：结构化数据处理接口，类似 Pandas DataFrame，支持 SQL 操作。：入口点，用于创建和管理 Spark 应用。

(译) pyspark.sql.SparkSession模块

cjhnbls的博客

02-04

1万+

class pyspark.sql.SparkSession(sparkContext, jsparkSession=None) 用DataSet和DataFrame编写Spark程序的入口 SparkSession的功能包括：创建DataFrame 以关系型数据库中表的形式生成DataFrame，之后便可以执行SQL语句，适合小数据量的操作读取.parquet格式的文件，得到D

PySpark基础 —— SparkSQL

qq_52421831的博客

10-18

4140

PySpark基础 —— SparkSQL

PySpark | SparkSQL入门 | DataFrame入门

liujiesxs的博客

06-28

1771

SparkSQL中的DataFrame的入门和操作

PySpark | SparkSQL函数 | SparkSQL运行流程

liujiesxs的博客

06-28

1492

SparkSQL函数定义，SparkSQL整合Hive

【spark床头书系列】PySpark 安装指南 PySpark DataFrame 、PySpark Pandas Api快速入门权威指南

wang2leee的博客

12-04

1909

PySpark是Apache Spark官方发布的一部分，可以在Apache Spark网站上获取。对于Python用户，PySpark还提供了从PyPI进行pip安装的方式。这通常适用于本地使用或作为连接到集群的客户端，而不是设置一个集群本身。

pyspark.sql module 之SparkSession（待续）

花木兰

08-15

1351

Mocule Context Spark SQL 和DF重要的类类名说明 SparkSession DF以及SQL的入口 DataFrame 分布式数据集 Column DF的一列 Row DF的一行 GroupedData df.groupBy()的一些操作方法 DataFrameNafunction 处理缺失数据的方法 DataFrameStatFu...

PySpark基础入门（7）：Spark SQL

WHY的博客

05-08

1770

SparkSQL 是Spark的一个模块, 用于处理海量结构化数据；PySpark使用DataFrame进行数据抽象，是一个二维表数据结构，适用于分布式集合

pyspark之创建SparkSession

热门推荐

最熟悉的陌生人

12-12

2万+

1、SparkSession 介绍通过SparkSession 可以创建DataFrame, 也可以把DataFrame注册成一个table，基于此执行一系列SQL操作。DataFrame和pandas里的DataFrame类似。关于什么是DataFrame，后续会出一篇介绍spark基本概念的博客。 2、实验环境博主是用的 jupyter notebook，新建了一个pyspark的not...

PySpark 之 SparkSQL 编程

hj1993的博客

02-01

868

RDDSparkDataFrameDataFrameSpark SQLrdd在Excutor上跑的大部分是Python代码，只有少部分是java字节码；而SparkSQL在Excutor上跑的全是Java字节码，因此其性能要比rdd更好，灵活性也更好！

pyspark Spark SQL

weixin_42529756的博客

02-28

998

1、Spark SQL 概述 Spark SQL概念 Spark SQL is Apache Spark’s module for working with structured data. 它是spark中用于处理结构化数据的一个模块 Spark SQL历史 Hive是目前大数据领域，事实上的数据仓库标准。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mPnE8yAy-1614524559940)(pics/s9.png)] Shark：shark底层使用

pyspark sparksession_pyspark入门 | spark-submit 提交pyspark任务

weixin_39901571的博客

11-27

612

https://github.com/hxjcarrie/pyspark_study以LogisticRegression为例输入数据样例（第一列为label，后面为feature）lrDemo.py（基于RDD的mllib）#!coding=utf8 lrDemo_df.py（基于DataFrame的ml）#!coding=utf8 日志打印模型效果：spark-submit_lr.sh 提...

pyspark 使用sparksql查询

larance的挨踢生活

06-18

148

spark.sql("select `姓名`,`薪资`,compute_bouns('salary') as `年终奖` from employee").show(3)

2 、SparkSQL编程入口SparkSession

风中一叶

11-04

6983

1.要编写SparkSQL程序，必须通SparkSession对象 pyspark.sql.SparkSession(sparkContext, jsparkSession=None) 在spark1.x之前的版本中，SparkSQL程序的编程入口是 pyspark.sql.SQLContext(sparkContext, sparkSession=None, jsqlContext=Non...

PySpark之Spark SQL的使用《七》

wywinstonwy的专栏

05-26

1万+

Spark SQLis Apache Spark's module for working with structured data.

pyspark sql编程初级实践

03-14

### PySpark SQL编程入门实践教程 #### 了解PySpark SQL的基础概念 PySpark SQL 是 Apache Spark 提供的一个模块，用于处理结构化数据。它提供了 DataFrame API 和 SQL 查询功能，使得用户可以轻松地执行复杂的查询操作并优化性能[^1]。 #### 创建和操作DataFrame 为了开始使用 PySpark SQL 进行编程，创建一个 `SparkSession` 对象是非常重要的。这是进入所有功能的主要入口点： ```python from pyspark.sql import SparkSession spark = SparkSession.builder \ .appName("Python Spark SQL basic example") \ .config("spark.some.config.option", "some-value") \ .getOrCreate() ``` 接着可以通过加载外部文件来创建 DataFrames 或者通过现有 RDDs 转换成 DataFrames: ```python df = spark.read.json("examples/src/main/resources/people.json") # 展示表中的内容 df.show() # 执行简单的过滤条件 df.filter(df['age'] > 20).show() ``` 对于更复杂的数据源如 CSV 文件，则可采用如下方式读取： ```python peopleRDD = spark.sparkContext.textFile("file:///usr/local/spark/mycode/sparksql/employee.txt") schemaPeople = spark.createDataFrame(peopleRDD, schema) # 注册临时视图以便后续查询 schemaPeople.createOrReplaceTempView("people") results = spark.sql("SELECT name FROM people WHERE age >= 13 AND age <= 19") results.show() ``` 上述代码片段展示了如何从文本文件中读入数据，并将其转换成带有模式信息的 DataFrame 后注册为临时表格来进行 SQL 查询[^3]。 #### 使用内置函数增强数据分析能力除了基本的操作外，还可以利用丰富的内置函数库进一步提升效率。例如日期时间处理、字符串操作以及聚合计算等功能都可以借助这些工具实现。更多详细的文档可以在官方指南找到，其中包含了大量实用的例子帮助理解各个特性的应用方法[^2]。