【spark】四 DataFrame.distinct()操作也应当优化为RDD操作

最新推荐文章于 2023-04-25 21:43:24 发布
最新推荐文章于 2023-04-25 21:43:24 发布
阅读量4.9k 收藏
点赞数 3
CC 4.0 BY-SA版权
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u010720408/article/details/89524749
本文通过实际案例对比了Spark中RDD与DataFrame在处理大规模数据集时的性能差异，发现DataFrame的某些操作如distinct可能导致SparkContext异常，而使用RDD则更加稳定。建议在排序、统计等场景下优先考虑RDD。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最好可以用RDD的就不要用DataFrame

今日就遇到执行出现 SparkContext异常停止，怀疑是DataFrame的distinct操作和groupby一样并不在本地合并为最小集，导致最后崩溃；而后换成RDD.distinct()却是可以的。

经多次测试都是以上结论

测试数据 一亿两千万条

结论：能用RDD的相关操作，就别用DataFrame，比如排序、统计count、distinct等等都要替换为RDD的，后续再toDF(*columns)回来即可

R语言dplyr包distinct函数基于dataframe数据中的所有变量移除重复行
statistics+insight+vista+power
11-12 1007
R语言dplyr包distinct函数基于dataframe数据中的所有变量移除重复行
R语言进行数据分组聚合统计变换（Aggregating transforms）、计算dataframe数据的分组独特值的个数（distinct）
statistics+insight+vista+power
09-25 314
R语言进行数据分组聚合统计变换（Aggregating transforms）、计算dataframe数据的分组独特值的个数（distinct）
SPARK基础4(DataFrame操作)
xujingpilot的博客
04-11 541
在上文《SPARK基础2(读入文件、转临时表、RDD与DataFrame)》中，我们简单介绍了spark中的DataFrame，我们知道了spark dataframe派生于RDD类，但是提供了非常强大的数据操作功能。在本文中我们主要介绍，DataFrame基本API常用操作。 查看数据 // 默认只显示20条 commodityDF.show() // 是否最多只显示20个字符，默认为true ...
Spark之DataFrame操作大全
guoliduo的博客
06-27 2060
SparkSession中的DataFrame类似于一张关系型数据表。在关系型数据库中对单表或进行的查询操作，在DataFrame中都可以通过调用其API接口来实现。 可以参考，Scala提供的DataFrame API。本文中的代码基于Spark-2.2的文档实现。 一、DataFrame对象的生成 　　Spark-SQL可以以其他RDD对象、parquet文件、json文件、Hive表，以及通过JDBC连接到其他关系型数据库作为数据源来生成DataFrame对象。本文将以MySQL数据库为数据源.
spark--DataFrame处理udf操作和一些聚合操作
周大科的博客
09-29 8401
在spark中对数据进行处理udf函数还是很多的下面介绍在df下udf操作实例 val sqlContext = new SQLContext(sc) import sqlContext.implicits._ 调用sqlcontext里面的udf函数 sqlContext.udf.register("str",(_:String).length) sqlContext.s
Spark的dropDuplicates或distinct 对数据去重
Code_LT的博客
04-25 3340
消除重复的数据可以通过使用 distinct 和 dropDuplicates 两个方法。
dataframe的head方法_Spark scala dataframe基本操作
weixin_39769183的博客
12-21 1764
DataFrames具有如下特点：Ability to scale from kilobytes of data on a single laptop to petabytes on a large cluster(支持单机KB级到集群PB级的数据处理)Support for a wide array of data formats and storage systems(支持多种数据格式和存储系...
【Spark】PySpark的RDD与DataFrame的转换与使用
浮汐潇潇
04-09 2977
RDD与DataFrameRDD1. SparkSession2. RDD2.1 创建RDD2.1.1 通过读取DataFrame二级目录三级目录 RDD 1. SparkSession 使用Spark核心API的应用以SparkContext对象作为程序主入口，而Spark SQL应用则以SparkSession对象作为程序主入口，在Spark2.0发布之前，Spark SQL应用使用的专用主入口是SQLContext和HiveContext。SparkSession把它们封装为一个简洁而统一的入口。 S
Spark之dataframe操作大全
czy的博客
11-11 2711
一、datafram描述 DataFrame 是一种不可变的分布式数据集，这种数据集被组织成指定的列，类似于关系数据库中的表。数据集的每一列都带有名称和类型，对于数据的内部结构又很强的描述性。 二、datafram特点 1、支持 KB 级到 PB 级得到数据处理 2、支持多种数据格式和存储系统 3、通过 Spark SQL Catalyst 优化器可以进行...
Spark的DataFrame算子
qq_45532779的博客
12-06 944
unpersist() : 返回dataframe.this.type 类型，去除模式中的数据 unpersist(blocking:Boolean) 返回dataframe.this.type类型 true 和unpersist是一样的作用false 是去除RDD cache() 同步数据的内存 persist(newlevel:StorageLevel) 返回一个dataframe.this.type 输入存储模型类型 printSchema() 打印出字段名称和类型 按照树状结构来打印
Spark Sql 和DataFrame总结
cjl的博客
10-21 1751
Spark Sql 和DataFrame总结Spark Sql总结1. Spark SQL概述2. DataFrame2.1 DataFrame概述2.2 DataFrame vs RDD 区别2.3 Pandas DataFrame vs Spark DataFrame3. DataFrame 操作3.1 创建DataFrame3.1.1 从RDD创建DataFrame3.1.2 从CSV文件创建DataFrame3.1.3连接数据库3.1.4 读取json数据3.2 DataFrame操作3.3 综合
spark- Dataframe基本操作-查询
wangwangstone的博客
01-03 5581
查询相关操作 .show() 显示头n 行 .printSchema() 打印表概要， .count() 查询统计表中数据行数 .distinct() 去重后的数据 .collect()获取所有数据到数组 .head(num) 以及.take(num) 获取前num行记录 .sample() 采样 .select() 选择列数据 .describe() 查看数据的统计分布
【Python_024】python实现 count distinct
Haaaley's Notebook
08-26 4237
之前整理过一篇sql语法在pandas中的实现 其中只分开说了count和distinct， 今天终于发现了count distinct的用法 count distinct 用nunique import pandas as pd a=[['A',1,'aa'],['A',2,'aa'],['B',3,'aa'],['C',4,'bb']] df = pd.DataFrame(a) df.columns = ['Type','Num','type2'] df df.groupby('Type').
spark之distinct去重原理
我的祖传代码
04-08 2479
distinct算子原理： 贴上spark源码： /** * Return a new RDD containing the distinct elements in this RDD. */ def distinct(numPartitions: Int)(implicit ord: Ordering[T] = null): RDD[T] = withScope ...
spark DataFrame 常见操作
dianxunma2886的博客
01-16 312
spark dataframe派生于RDD类，但是提供了非常强大的数据操作功能。当然主要对类SQL的支持。 在实际工作中会遇到这样的情况，主要是会进行两个数据集的筛选、合并，重新入库。 首先加载数据集，然后在提取数据集的前几行过程中，才找到limit的函数。 而合并就用到union函数，重新入库，就是registerTemple注册成表，再进行写入到HIVE中。 ...
spark中distinct是如何实现的？
@coredao
03-09 1227
A1 总述： 去重 A2 思路： map -> resuceByKey -> map A3 源码： 3.1 有参： /** * Return a new RDD containing the distinct elements in this RDD. */ def distinct(numPartitions: Int)(implicit ord: Ordering[T] = null): RDD[T] = withScope { map(x => (x, nu
python——dataframe基本操作
weixin_44822403的博客
08-30 2680
取指定的几列 df = df[0:(len(df) - 1)] # 取df的前n-1行 df[[column1，column2]] #取某两列 df.iloc[:,0:200] #不指定列名取前200列 df.describe() #描述性统计（对数值型数据列而言） df.dtypes #查看各行的数据格式 df['列名'].astype(int)#转换某列的数据类型res_df['T'] = res_df['T'].apply(int) #切片操作 df.iloc[1:.
Spark-SQL之DataFrame操作大全
weixin_30355437的博客
10-12 5981
　　Spark SQL中的DataFrame类似于一张关系型数据表。在关系型数据库中对单表或进行的查询操作，在DataFrame中都可以通过调用其API接口来实现。可以参考，Scala提供的DataFrame API。 　　本文中的代码基于Spark-1.6.2的文档实现。 一、DataFrame对象的生成 　　Spark-SQL可以以其他RDD对象、parquet文...
DataFrame 去重函数
qq_38655865的博客
09-15 857
DataFrame 去重函数 去重数据： distinct // Returns a new Dataset that contains only the unique rows from this Dataset def distinct(): Dataset[T] = dropDuplicates() 去重函数： dropDuplicates def dropDuplicates(c...
spark中spark.sql.shuffle.partitions与task数量关系
最新发布
03-22
`spark.sql.shuffle.partitions`用于控制**Spark SQL**中触发Shuffle操作（如`JOIN`、`GROUP BY`、`DISTINCT`等）后的数据分区数量，默认值为200[^2][^3]。 每个分区对应一个Task，因此该参数直接决定了Shuffle阶段...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值