Spark2.3.1 API SparkSession

最新推荐文章于 2023-10-13 07:40:30 发布
最新推荐文章于 2023-10-13 07:40:30 发布
阅读量807 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42129080/article/details/81103984
SparkSession是Spark2.3.1中用于dataset和dataframe操作的入口，它在REPL和Databricks notebooks环境中默认创建。SparkSession提供了Builder模式来创建实例，允许设置配置、启用Hive支持，并通过SparkSessionExtensions注入自定义规则和策略。这个接口还支持对SparkSession进行配置修改，以适应不同的需求。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

类

org.apache.spark.sql.SparkSession

1 dataset和dataframe API的入口

2 在REPL和databrick的notebooks环境中已经提前建立好了

 

对象

org.apache.spark.sql.SparkSession

1 为创建sparksession而创建一个builder 

2 设置/获取/清除session

3 工厂方法模式，创建sparksession的接口

 

内部类

org.apache.spark.sql.SparkSession.Builder

1 builder是对象sparksession的内部类，使用builder pattern(将一个复杂对象的构建和它的表示相分离，使得同样的构建过程可以有不同的表示)

2 config/appname/master/getorcreate

3 enablehivesupport 

 通过修改配置

config(CATALOG_IMPLEMENTATION.key, "hive")

4 withextensions 

注入自定义内容

 

SparkSessionExtensions

1 对SparkSession注入规则和策略，官方不保证稳定性

2 主要是注入客制化analyzer/optimizer/planner

[Spark版本更新]--Spark-2.3.1发布说明
欢迎来到我的博客，一起探索代码里的世界！
07-03 1517
2018-09-08 Apache Spark 官方发布了Spark 2.3 的小版本--2.3.1，Release Notes 如下： Sub-task [ SPARK-23706 ] - spark.conf.get（value，default = None）应该在PySpark中产生None [ SPARK-23748 ] - 支持从临时表中选择 [ SPARK-23942 ] - ...
Spark SQL【Java API】
最新发布
功不唐捐，玉汝于成
05-24 2024
Spark SQL 【Java API】
Spark SQL（一）：核心类、Spark Session APIs、Configuration、Input and Output
YFater的博客
10-24 1508
文章目录一.核心类二.Spark Session APIs1.SparkSession.builder.config2.SparkSession.builder.getOrCreate3.SparkSession.createDataFrame4.SparkSession.getActiveSession5.SparkSession.range6.SparkSession.table三.配置四.输入与输出 一.核心类 类名 概述 SparkSession(sparkContext[, jsp
【spark】SparkSession的API
weixin_30415113的博客
05-18 489
SparkSession是一个比较重要的类，它的功能的实现，肯定包含比较多的函数，这里介绍下它包含哪些函数。 builder函数public static SparkSession.Builder builder()创建 SparkSession.Builder，初始化SparkSession.setActiveSession函数public static void setActiveSessi...
spark 2.3.1 入门教程
Echo_y_d的博客
10-17 639
基本：（所有环境包括scala和spark都装好的前提下） 在spark目录中用下面的命令启动shell ./bin/spark-shell Spark的主要抽象是一个名为Dataset的分布式项目集合。可以从Hadoop InputFormats（例如HDFS文件）或通过转换其他数据集来创建数据集 scala> val textFile = spark.read.textFile(...
Spark2.3.1安装
ringsuling的博客
09-14 1129
环境： hadoop2.6.4 jdk1.8 centos4.8 步骤如下： 1.在Apache官网下载Spark2.3.1的安装包 2.上传到Linux并解压 tar -zxvf spark-2.3.1-bin-hadoop2.6.tgz -C /usr/local/ 3.进入spark-2.3.1-bin-hadoop2.6/conf cd /usr/local/spark-2...
spark 2.3.1安装
baymax_007的博客
07-30 1501
机器环境：scala 2.11.12、hadoop 3.0.0、spark 2.3.1 一、安装scala 2.11.12 tar -zxf scala-2.11.12.tgz -C /opt/modules/ sudo vi /etc/profile # SCALA_HOME export SCALA_HOME=/opt/modules/scala-2.11.12 export P...
Springboot+Spark(http请求调用spark api，并以集群模式运行)
热门推荐
qq_35514685的博客
01-18 1万+
Springboot+Spark
Spark SQL精华及与Hive的集成（spark sql原理，API,操作外部源数据，SQL函数）
May_J_Oldhu的博客
11-25 1153
Spark SQL精华及与Hive的集成一.Spark SQL原理1.SQL on Hadoop2.spark的前身：shark3.Spark SQL架构4.Spark SQL运行原理5.Catalyst优化器（1）逻辑计划（2）优化（3）物理计划二.Spark SQL API1.Dataset（1）基本概念（2）使用Case Class创建Dataset2.Dataframe（1）基本概念（2）RDD与DataFrame对比（3）创建DataFrame及基本操作（4）RDD->DataFrame方式
Spark----SparkSQL之SparkSession
XiaodunLP的博客
02-18 608
SparkSession 是 Spark-2.0 引如的新概念。SparkSession 为用户提供了统一的切入点，来让用 户学习 Spark 的各项功能。    在 Spark 的早期版本中，SparkContext 是 Spark 的主要切入点，由于 RDD 是主要的 API，我 们通过 sparkContext来创建和操作 RDD。对于每个其他的 API，我们需要使用不同的 context。...
Spark2.0.2API
01-03
spark2.0.2的apidoc scala的，辛苦拉了半天才拉下来
spark-2.3.0 api 文档
06-05
spark 2.3.0 api 文档。 Apache Spark is a fast and general-purpose cluster computing system. It provides high-level APIs in Java, Scala, Python and R, and an optimized engine that supports general execution graphs. It also supports a rich set of higher-level tools including Spark SQL for SQL and structured data processing, MLlib for machine learning, GraphX for graph processing, and Spark Streaming
spark-2.3.1-bin-hadoop2.7.rar
05-06
免费提供spark-2.3.1版本安装文件，免安装，解压后放到想要安装的目录下，配置下环境变量即可。
Spark 2.0介绍：SparkSession创建和使用相关API
universe_ant的博客
01-20 3363
SparkSession —— Spark的一个全新的切入点 在Spark的早期版本，SparkContext是进入Spark的切入点。我们都知道RDD是Spark中重要的API，然而它的创建和操作得使用SparkContext提供的API；对于RDD之外的其他东西，我们需要使用其他的Context。比如对于流处理来说，我们得使用StreamingContext；对于SQL得使用SQLConte
Windows10/Centos7安装Spark2.3.1
量化空间
07-10 762
环境 Windows 10 Centos 7.4 java 1.8.0-openjdk.x86_64 scala 2.12.4 spark 2.3.1 Windows10 安装Spark 2.3.1 1. 安装Java 1.8 2. 安装Scala 2.12.6 3. 设置Hadoop路径 4. 下载winutils 5. 修改hive文件夹权限 6. 运行spark互动模式 ...
spark 2 api 中文文档
csdnbkyhm的博客
01-22 1508
添加链接描述
Spark 2.0 如何使用 SparkSession
SmartSi
10-13 426
除了有时限的交互之外，SparkSession 提供了一个单一的入口来与底层的 Spark 功能进行交互，并允许使用 DataFrame 和 Dataset API 对 Spark 进行编程。最重要的是减少了开发人员在与 Spark 进行交互时必须了解和构造概念的数量。在这篇文章中我们将探讨 Spark 2.0 中的 SparkSession 的功能。
Spark2.3.1 API Dataset
ThisIsNobody的博客
07-12 405
org.apache.spark.sql.Dataset1 强类型集合2 对象可以做函数操作或者关系型操作3 DataFrame是Row类型的Dataset，即Dataset[Row]4 转化操作生成新的Dataset，行动操作执行计算并生成结果，是lazy的，只有行动操作才会触发计算5 Spark Catalyst Optimizer优化计算，将logical plan以并行，分布式的方式优化为...
2 、SparkSQL编程入口SparkSession
风中一叶
11-04 6939
1.要编写SparkSQL程序，必须通SparkSession对象 pyspark.sql.SparkSession(sparkContext, jsparkSession=None) 在spark1.x之前的版本中，SparkSQL程序的编程入口是 pyspark.sql.SQLContext(sparkContext, sparkSession=None, jsqlContext=Non...
Spark 2.3.1官方离线文档包及API下载指南
一般来说，"spark-docs-api"指的是包含Spark API文档的压缩包，而"2.3.1"表示该文档是针对Spark 2.3.1版本的。 【描述】"spark2.3.1官方文档离线版"的知识点 描述中提到的"spark2.3.1官方文档离线版"说明这个压缩...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值