Spark(32) --Spark SQL补充 -- 聚合

最新推荐文章于 2022-06-13 13:06:08 发布
原创 最新推荐文章于 2022-06-13 13:06:08 发布 · 246 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark

本文详细介绍了Spark SQL中的聚合操作，包括groupBy、多维聚合、rollup和cube。通过实例展示了如何使用这些操作进行数据分组和统计，重点解释了rollup和cube的区别以及在实际应用中的作用。同时提到了RelationalGroupedDataset对象及其在聚合操作中的重要性。

1. groupBy

 groupBy 算子会按照列将 Dataset 分组, 并返回一个 RelationalGroupedDataset 对象, 通过 RelationalGroupedDataset 可以对分组进行聚合

Step 1: 加载实验数据

private val spark = SparkSession.builder()
    .master("local[6]")
    .appName("aggregation"
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Spark32待续。。。。。
sz_bdqn的专栏
04-14 137
Spark32待续。。。。。
Spark32个常用算子总结
感谢你的关注~~~~ღ( ´･ᴗ･` )
10-11 253
https://blog.csdn.net/Fortuna_i/article/details/81170565
记一个使用SparkSession的错误（构造sparksession时候的getOrCreate的错误）
get_you_1的博客
09-20 8545
首先是错误输出： 19/09/20 14:12:40 INFO BlockManagerMaster: Registering BlockManager BlockManagerId(driver, 192.168.101.1, 56307, None) 19/09/20 14:12:40 INFO BlockManagerMasterEndpoint: Registering block man...
spark官方常用的32个算子
qq_41982570的博客
03-31 691
Spark Transformation和Actionspark官方常用的32个算子spark常用的Transformationspark常用的Action 本文参考spark官方文档以及别人博客写出，如有侵权请指出。 spark官方常用的32个算子 spark常用的Transformation import org.apache.spark.{HashPartitioner, SparkCon...
精选资源
spark-excel：一个用于通过Apache POI读取Excel文件的Spark插件
02-05
import org.apache.spark.sql.SparkSession val spark = SparkSession.builder() .appName("Spark Excel Example") .config("spark.jars", "path/to/spark-excel.jar") // 指定 spark-excel 的 jar 包路径 ....
spark-2.4.4-bin-hadoop2.7.tgz
10-11
1. **SQL增强**：Spark SQL是Spark处理结构化数据的主要模块，2.4.4版本对SQL支持进行了加强，包括对更多的SQL标准的兼容，如窗口函数和CUBE/ROLLUP聚合操作。此外，DataFrame和Dataset API也得到了优化，使得数据...
Spark-SQL常用聚合函数.md
08-09
Spark-SQL常用聚合函数.md
spark-theta-sketch-udfs：该项目旨在使用Yahoo Theta Sketch API作为Spark sql UDF
02-06
Spark Theta Sketch UDFs项目就是将这一强大的数据估算工具与Spark SQL进行集成，以实现更高效、精确的数据聚合和估算。 Theta Sketch是一种概率数据结构，主要用于处理海量数据的近似统计，如估算基数、联合概率和...
【SparkSQL】扩展 ---- 聚合操作
懂得一千零一种,赋予你失败的方法！
12-21 911
文章目录一、groupBy() ---- 分组avg ---- 平均值stddev ---- 方差用GroupedDataset的API进行聚合二、多维聚合1.rollup()2.cube()3.cubeSQL4.RelationalGroupedDataSet 一、groupBy() ---- 分组 按照列将DataSet分组，并返回一个RelatinalGroupedDataSet对象，然后通过该对象，对分组内容进行聚合操作 @Test def test(): Unit ={ //.
spark3.2.0新特性
IreneByron的博客
06-13 912
spark3.2.0新特性整理
【spark】spark dataframe空值·部分原因
Summer_via的博客
11-24 2139
今天在写一个spark job(pyspark)时又遇到了，又遇到了数据处理的两大拦路虎之一的空数据问题，检查数据源，确定不会有空值后，开始检查代码。最终发现是代码的前任维护者使用了一个字符串作为一个long type的默认初始值导致的。 如下，对于错误的数据类型，在类型推断确定类型后，遇到无法转换的数据类型，spark会将对应字段填为空值。 另外，我这里用的是rdd，因为rdd是一个本地类型，也即是python类型，所以rdd允许dataset中数据类型不一样(python特性决定的)，而在toDF()执
5、Spark DataFrame理解和使用之不同数据类型的操作(二)
Toby的博客
12-29 1096
数据类型： Dates and Timestamps 日期和时间戳 Handling Null 空值 Complex Types 复杂类型 User Defined Functions 用户自定义函数 布尔型、数值型、字符型数据操作见前博文 4、Spark DataFrame理解和使用之不同数据类型的操作(一) Dates and Timestamps 日期和时间戳 1、to_date()\ to_timestamp()函数 to_date($date,"$date_type")函数 .
Order By后产生NULL的问题
SunnyRivers
12-10 1104
前言 这里记录一下使用Spark-Shell查询Hive中数据时遇到的一点点问题，Hive表中一个字段的数据如下： +--------------+ | register_time| +--------------+ |20190824192307| |201512201...
SparkSQL2.x 中的DataFrame和Dataset创建与使用
今夜无眠
05-14 4001
 SparkSQL 的概念 Spark SQL 是一个用来处理结构化数据的 spark 组件，也可被视为一个分布式的 SQL 查询引擎。与基础的 Spark RDD API 不同, Spark SQL 提供了查询结构化数据及计算结果等信息的接口。在内部, Spark SQL 使用这个额外的信息去执行额外的优化.有几种方式可以跟 Spark SQL 进行交互, 包括 SQL 和 Dataset AP...
spark sql算子数据类型
丰brother的博客
05-09 1675
spark sql算子返回值数据类型介绍 初始变量类型DataFrame 加入persist()固化存储，运行速度更快 val online_profile_score_df: DataFrame = profile_df.join(score_df, usingColumns =Seq("serv_number","statis_month")) .persist() //线...
Kafka高级(5) -- Kafka中数据清理（Log Deletion）
erainm
09-16 2355
Kafka的消息存储在磁盘中，为了控制磁盘占用空间，Kafka需要不断地对过去的一些消息进行清理工作。Kafka的每个分区都有很多的日志文件，这样也是为了方便进行日志的清理。在Kafka中，提供两种日志清理方式： 1. 日志删除 2. 日志压缩
Kafka高级(6) -- Kafka配额限速机制（Quotas）
erainm
09-16 2133
生产者和消费者以极高的速度生产/消费大量数据或产生请求，从而占用broker上的全部资源，造成网络IO饱和。有了配额（Quotas）就可以避免这些问题。Kafka支持配额管理，从而可以对Producer和Consumer的produce&fetch操作进行流量限制，防止个别业务压爆服务器。 1. 限制producer端速率 2. 限制consumer端速率 3. 取消Kafka的Quota配置
小白学习spark05-spark sql
03-16
小白学习Spark SQL需要掌握以下几个方面： 1. Spark SQL的基本概念和原理：Spark SQL是Spark的一个模块，它提供了一种基于结构化数据的编程接口，可以通过SQL语句或DataFrame API来操作数据。Spark SQL支持多种数据源，包括Hive、JSON、Parquet等。 2. Spark SQL的安装和配置：在使用Spark SQL之前，需要先安装和配置Spark环境。可以通过下载Spark二进制包或使用Spark的分发版来安装Spark。在配置Spark时，需要设置Spark SQL相关的参数，如hive.metastore.uris、spark.sql.warehouse.dir等。 3. Spark SQL的数据源：Spark SQL支持多种数据源，包括Hive、JSON、Parquet等。在使用Spark SQL时，需要先将数据源加载到Spark中，可以使用SparkSession对象的read方法来加载数据源。 4. Spark SQL的DataFrame API：Spark SQL的DataFrame API是一种基于RDD的高级API，它提供了一种类似于SQL的编程接口，可以通过DataFrame API来操作数据。DataFrame API支持多种操作，包括过滤、聚合、排序等。 5. Spark SQL的SQL语句：Spark SQL支持标准的SQL语句，可以通过SparkSession对象的sql方法来执行SQL语句。在使用SQL语句时，需要先将数据源注册为一张表，可以使用createOrReplaceTempView方法或createGlobalTempView方法来注册表。 总之，学习Spark SQL需要掌握Spark SQL的基本概念和原理、安装和配置、数据源、DataFrame API和SQL语句等方面。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

erainm

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值