spark-SQL-Transform

已于 2023-08-07 11:15:28 修改
阅读量293 收藏
点赞数
分类专栏： 核心库-批流计算 文章标签： spark sql scala
于 2023-05-15 16:29:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43871785/article/details/130687361
版权
本文主要探讨了Spark SQL中的DataFrame操作、Datasets处理、表字段命名规则以及视图的SQL操作，包括createGlobalTemporaryView、createOrReplaceTempView的使用，并强调了SQL操作在Spark中的重要性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

内容文件参考"付费专栏"可领取。专栏购买者提供本内容"永久答疑和远程协助"服务。一诺千金!

特别注意开发之前 一定要导入这些函数

import org.apache.spark.sql.functions._

import mySparkSeeion.implicits._ // 注意mySparkSeeion这个是您创建的对象
了解本专栏 订阅专栏 解锁全文
Spark-SQL那些事
zhixingheyi_tian的博客
05-18 1388
WITH AS WITH AS短语，也叫做子查询部分，定义一个SQL片断后，该SQL片断可以被整个SQL语句所用到。有的时候，with as是为了提高SQL语句的可读性，减少嵌套冗余。 with A as ( select * from user ) select * from A, customer where customer.userid = user.id** 先执行select * from user把结果放到一个临时表A中，作为全局使用。 with as的将频繁执行的s
SparkStreaming构建黑名单以及SparkStreaming整合SparkSQL(transform和foreachRDD)
someInNeed的博客
06-01 485
构建黑名单 注：生产环境时将.setMaster("local[2]").setAppName("BlackListList")删掉 val SparkConf=new SparkConf().setMaster("local[2]").setAppName("BlackListList") val ssc=new StreamingContext(SparkConf,Seconds(5)...
Spark SQL(二) DataFrames相关的Transformation操作
the_conquer_zzy的专栏
05-02 664
Spark SQL(二) DataFrames相关的Transformation操作 DataFrames是不可变的，且与其相关的Transformation操作和RDD的相关操作一样都是返回一个新的DataFrame. DataFrames Transformations select selectExpr filter/where distinct/dropDuplicates sort/o...
sparkSQL-Transform
互联网知识分享
07-31 656
的原理是通过使用用户定义的函数（UDF）或用户定义的窗口函数（UDWF）来转换DataFrame中的数据。它支持两种模式：批处理和流处理。下面是的工作原理：1.批处理模式：在批处理模式下，将DataFrame分解为一组分区，并为每个分区调用用户定义的函数。分区之间的转换是并行执行的，因此可以获得更高的性能。2.流处理模式：在流处理模式下，将DataFrame分解为一系列微批次，并为每个微批次调用用户定义的函数。微批次之间的转换是顺序执行的，因此可以确保数据的一致性。
sparksql的Transformation与 Action操作
最新发布
小枫的博客
03-18 731
这种类型的 Join 也称为笛卡儿积（Cartesian Product），Join 左表的每行数据都会跟右表的每行数据进行 Join，产生的结果行数为 m*n，所以在生产环境下尽量不要用这种 Join。LEFT SEMI JOIN 只会返回匹配右表的数据，而且 LEFT SEMI JOIN 只会返回左表的数据，右表的数据是不会显示的，下面三种写法都是等价的。LEFT OUTER JOIN 等价于 LEFT JOIN，这个 Join 的返回的结果相信大家都知道，我就不介绍了。下面三种写法都是等价的。
Spark ML机器学习：SQLTransformer
大模型大数据攻城狮的专栏
02-14 947
我们都很喜欢sql语句，简单好用又熟悉，那么Spark ML很人性化的为我们提供了SQLTransformer类，使得我们能用我们熟悉的SQL来做特征转化。它支持SparkSql中的所有select选择语句,sum(),count(),group by,order by等等都可以用！形如”SELECT …FROM __THIS__”。’__THIS__’代表输入数据的基础表。 SQLTransf...
spark常用函数：transformation和action
热门推荐
军军的专栏
02-19 1万+
1、RDD提供了两种类型的操作：transformation和action 所有的transformation都是采用的懒策略，如果只是将transformation提交是不会执行计算的，计算只有在action被提交的时候才被触发。 1）transformation操作：得到一个新的RDD，比如从数据源生成一个新的RDD，从RDD生成一个新的RDD map(func):对调用map的RDD数
如何解决Spark-sql读取hive分区表执行效率低问题
zjjcchina的博客
08-09 1296
在开发过程中使用spark去读取hive分区表的过程中（或者使用hive on spark、nodepad开发工具），部分开发人员未注意添加分区属性过滤导致在执行过程中加载了全量数据，引起任务执行效率低、磁盘IO大量损耗等问题。2、自定义规则CheckPartitionTable类，实现Rule，将规则类追加至Optimizer.batches: Seq[Batch]中。1、自定义规则CheckPartitionTable类，实现Rule，通过以下方式创建SparkSession。...
spark-sql学习——官网文档
FisherWang_CN
04-20 499
综述spark-sql 是spark生态圈中操作结构化数据的一个模块。开始计算scala> val df = spark.read.json("/test/people.json") df: org.apache.spark.sql.DataFrame = [age: bigint, name: string] scala> df.show() +--...
SPARK-SQL中join问题
marvinbb的博客
07-04 1875
首先抛出Dataset的join算子在spark-sql_2.11 版本 2.3.0中所有重载方法： 由于本人公司产品在执行挖掘任务时任务过长，划分stage过多，并且在过程中存在着关联关系，因此不得不进行数据关联。首次本人在编写代码时使用Seq的join方式： Dataset<Row> select = json1.select("id", "callID"); Seq&l...
大数据-95 Spark 集群 SparkSQL Action与Transformation操作 详细解释与测试案例
永远好奇，无限进步！
08-22 3798
上节研究了SparkSQL中的SparkSession、SparkSQL中的RDD、DataFrame、DataSet，同时研究了三者之间是如何进行互相转换的。本节继续研究SparkSQL，研究当中的Action和Transformation操作，附带详细的解释与测试案例截图。 备注：Dataset默认的存储级别是 MEMEORY_AND_DISK。我们进入 spark-shell 进行测试。启动 Spark-Shell 继续进行测试。保存并上传到服务器上。
【SparkSQL】扩展 ---- DataSet 数据转换操作
懂得一千零一种,赋予你失败的方法！
12-17 886
【SparkSQL】扩展 ---- 数据转换操作 目录： 一、有类型的转换算子     1.转换类操作 ---- flatMap、map、mapPartitions     2.转换类操作 ---- transform     3.转换类操作 ---- as     4.过滤类操作 ---- filter    &nb
spark sql 高阶函数介绍
乾坤瞬间的博客
11-04 999
文章目录背景transformtransform 嵌套执行（nest）existsaggregate 聚合 背景 An Introduction to Higher Order Functions in Spark SQL Nested data types offer Apache Spark users powerful ways to manipulate structured data. ...
spark transform系列__join
隔壁老杨的专栏
01-28 1950
Join Join包含有join,fullOuterJoin,leftOuterJoin,rightOuterJoin四种实现, 下面先根据join的实现流程进行分析,再对join分析的结果的基础上,最后根据后面三种join的实现,说明下这几种JOIN的差别所在. Join的函数中,需要一个Partitioner的实例,默认是HashPartitioner,join的实现中,是直接通过调用 
2020.12.23课堂笔记(Spark Streaming中的transform)
超可爱慕之
12-24 340
Spark Streaming中的transform算子 作用：业务需求需要更改数据结构时可以使用transform完成转化工作 示例：从Kafka中读取数据，经过transform操作转换之后，打印 添加依赖： <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.11</artifactId> <version>2.0.0</ver
Spark机器学习管道 - Transformer
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-04 745
掌握Spark机器学习管道中常用Transformer的使用。1、应用Binarizer transformer，将连续值变量转换为两个离散的值。   2、使用Bucketizer transformer将温度列放入三个桶中，输出按温度列排序。   3、使用OneHotEncoder transformer将序数值转换为分类值。   4、使用Tokenizer Transformer执行分词任务。   5、使用StopWordsRemover transformer来删除英语停止词。   6、使用Hashi
【Spark ML系列】中的SQLTransformer场景用法示例源码解析
wang2leee的博客
09-08 209
`SQLTransformer`实现了由SQL语句定义的转换。
SparkML机器学习之特征工程（二）特征转化（Binarizer、StandardScaler、MaxAbsScaler、Normalizer、N-gram、Tokenizer等）...
weixin_33991418的博客
04-08 450
特征转化 为什么要转化数据呢，就是要让它成为有效的特征，因为原始数据是很多脏数据无用数据的。常用的方法是标准化，归一化，特征的离散化等等。比如我输入的数据是句子，我得把它切分为一个个单词进行分析，这就是一种转化。 连续型数据处理之二值化：Binarizer 假设淘宝现在有个需求，我得根据年龄来进行物品推荐，把50以上的人分为老年，50以下分为非老年人，那...
spark-2.4.8呢
02-24
<think>好的，用户之前问过如何在Spark中使用Scala训练并保存模型，然后进行预测，我给出了基于Spark 3.0+的完整代码。现在用户的新问题是关于Spark 2.4.8的情况，需要我调整之前的回答以适应这个旧版本。 首先，我需要确认Spark 2.4.8和Spark 3.0+之间的主要差异，尤其是在ML库和API方面。例如，Spark 3.0引入了很多优化和新特性，但Spark 2.4.8可能在某些API或功能上有所不同。比如，LinearSVC在Spark 2.4中可能存在不同的参数或方法，或者Pipeline的保存和加载方式是否有变化？ 接下来，我需要检查用户之前的代码示例中是否有不兼容的地方。例如，在Spark 2.4.8中，是否有某些类或方法已经被弃用或修改？例如，StandardScaler的setWithMean和setWithStd在旧版本中是否可用？或者VectorAssembler的输入输出列设置是否有变化？ 另外，用户可能在使用旧版本时遇到依赖问题，比如需要不同的库版本。例如，Spark MLlib在2.4.x和3.x之间的包结构是否一致？需要确认用户是否使用正确的import语句。 还有，模型保存和加载的路径处理是否有变化？在Spark 2.4.8中，保存模型到本地是否需要额外的配置，比如Hadoop的依赖或者文件系统的权限？ 然后，用户可能想知道如何在代码中进行调整，例如替换某些类或方法，或者调整参数设置。例如，在Spark 2.4.8中，LinearSVC是否属于不同的包，或者需要不同的参数名称？ 另外，用户可能关心性能优化方面的差异，比如在Spark 2.4.8中是否缺少某些优化配置选项，或者需要不同的设置来提升训练速度。 可能还需要考虑示例数据的兼容性，比如CSV读取的选项是否有变化，处理缺失值的方法是否不同？ 最后，用户可能需要关于依赖配置的建议，比如使用sbt或Maven时，正确的Spark版本和依赖库应该如何声明，避免版本冲突。 总结起来，我需要针对Spark 2.4.8调整之前的代码示例，确保所有API调用和依赖都是兼容的，并指出版本差异带来的变化，同时提供用户可能需要的配置建议和注意事项。</think>以下是针对 **Spark 2.4.8** 的完整代码适配说明和示例，包含与 Spark 3.0+ 的主要差异和关键修改点： --- ### Spark 2.4.8 与 Spark 3.0+ 的差异说明 1. **依赖库变化**: - Spark 2.4.8 的 `LinearSVC` 类位于 `org.apache.spark.ml.classification`，但某些高级特性可能受限（如缺少原生 GPU 加速） - 需要确保 Scala 版本兼容（通常 Spark 2.4.8 使用 Scala 2.11） 2. **API 兼容性**: - `StandardScaler` 的 `setWithMean` 在稀疏数据上可能表现不同 - 模型保存/加载的元数据格式与 Spark 3.0 不完全兼容（跨版本加载模型会失败） 3. **性能优化**: - Spark 2.4.8 缺少 Spark 3.0 的 Adaptive Query Execution (AQE) 优化 --- ### 适配后的完整代码（Spark 2.4.8） ```scala import org.apache.spark.sql.SparkSession import org.apache.spark.ml.feature.{VectorAssembler, StandardScaler} import org.apache.spark.ml.{Pipeline, PipelineModel} import org.apache.spark.ml.classification.LinearSVC // 1. 初始化SparkSession (注意版本标识) val spark = SparkSession.builder() .appName("SVM_Spark248") .master("local[*]") .config("spark.sql.legacy.allowUntypedScalaUDF", "true") // 兼容性配置 .getOrCreate() // 2. 数据加载（需显式指定数值类型） val rawData = spark.read .option("header", "true") .option("inferSchema", "true") // 2.4.8的类型推断可能更严格 .csv("pollution_data.csv") // 3. 数据清洗（Spark 2.4对空值处理更敏感） val cleanedData = rawData.na.drop("any") // 显式指定删除模式 // 4. 特征工程（与Spark 3.0相同，但需注意稀疏向量处理） val featureCols = Array("PM2.5", "PM10", "能见度", "O3浓度", "水质PH值") val assembler = new VectorAssembler() .setInputCols(featureCols) .setOutputCol("rawFeatures") val scaler = new StandardScaler() .setInputCol("rawFeatures") .setOutputCol("features") .setWithStd(true) .setWithMean(false) // Spark 2.4对中心化处理更保守 // 5. 模型定义（参数略有不同） val svm = new LinearSVC() .setLabelCol("结果") .setFeaturesCol("features") .setMaxIter(100) .setRegParam(0.01) .setStandardization(false) // 已手动标准化，需关闭 // 6. 构建Pipeline（与Spark 3.0相同） val pipeline = new Pipeline().setStages(Array(assembler, scaler, svm)) // 7. 训练并保存模型（注意Hadoop版本兼容性） val model = pipeline.fit(cleanedData) model.write.overwrite().save("hdfs:///path/to/model") // HDFS路径更稳定 // 8. 加载模型（需确保集群环境一致） val loadedModel = PipelineModel.load("hdfs:///path/to/model") // 9. 预测示例（数据需转换为精确类型） val testData = Seq( (40.0, 90.0, 4.5, 0.08, 6.8), (20.0, 50.0, 10.0, 0.03, 7.5) ).toDF("PM2.5", "PM10", "能见度", "O3浓度", "水质PH值") .selectExpr( "CAST(PM2.5 AS DOUBLE)", "CAST(PM10 AS DOUBLE)", "CAST(能见度 AS DOUBLE)", "CAST(O3浓度 AS DOUBLE)", "CAST(水质PH值 AS DOUBLE)" ) val predictions = loadedModel.transform(testData) predictions.show() ``` --- ### 关键适配要点 1. **依赖配置**（`build.sbt` 示例）: ```scala name := "Spark248_SVM" version := "1.0" scalaVersion := "2.11.12
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

研发咨询顾问

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值