【spark】dataframe慎用limit

最新推荐文章于 2024-10-13 21:07:53 发布

原创最新推荐文章于 2024-10-13 21:07:53 发布 · 1.1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #大数据 #分布式

Spark 专栏收录该内容

40 篇文章

订阅专栏

本文讨论了在SparkDataFrame中正确使用`limit`和`orderby`的方法，强调了LocalLimit和GlobalLimit的区别，以及如何通过tablesample代替全表扫描来提高性能。作者还提到了`PhysicalPlan`中的执行命令结构，如Exchange和Scancsv操作。

官方：limit通常和order by一起使用，保证结果是确定的

limit 会有两个步骤：

LocalLimit ，发生在每个partition
GlobalLimit，发生shuffle，聚合到一个parttion

当提取的n大时，第二步是比较耗时的

== Physical Plan ==
Execute InsertIntoHadoopFsRelationCommand (5)
+- * GlobalLimit (4)
   +- Exchange (3)
      +- * LocalLimit (2)
         +- Scan csv  (1)

如果对取样顺序没有要求，可用tablesample替代，使用详解。

== Physical Plan ==
Execute InsertIntoHadoopFsRelationCommand (3)
+- * Sample (2)
   +- Scan csv  (1)

参考

官方
 Stop using the LIMIT clause wrong with Spark
DataFrame orderBy followed by limit in Spark

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Code_LT

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

spark sql limit 和分区个数关系 localLimit GlobalLimit

yy的博客

11-12

1145

spark sql limit localLimit globalLimit

Spark SQL中的Limit与分区个数的关系：Local Limit和Global Limit的编程实现

Book_Sea的博客

09-10

656

Spark SQL中的Limit与分区个数的关系：Local Limit和Global Limit的编程实现在Spark SQL中，Limit是一种用于限制查询结果返回行数的机制。在处理大规模数据集时，我们通常会使用分区（Partitioning）来提高查询性能。本文将介绍Limit与分区个数之间的关系，以及如何在Spark SQL中使用Local Limit和Global Limit来实现这一功能。

参与评论您还未登录，请先登录后发表或查看评论

spark- Dataframe基本操作-查询

wangwangstone的博客

01-03

5664

Spark之dataframe操作大全

czy的博客

11-11

2742

一、datafram描述 DataFrame 是一种不可变的分布式数据集，这种数据集被组织成指定的列，类似于关系数据库中的表。数据集的每一列都带有名称和类型，对于数据的内部结构又很强的描述性。二、datafram特点 1、支持 KB 级到 PB 级得到数据处理 2、支持多种数据格式和存储系统 3、通过 Spark SQL Catalyst 优化器可以进行...

Spark中对大表子查询加limit为什么会报Broadcast超时错误

萌兔兔MMQ！！

09-19

1417

当两个表需要join时，如果一个是大表，一个是小表，正常的map-reduce流程需要shuffle，这会导致大表数据在节点间网络传输，常见的优化方式是将小表读到内存中并广播到大表处理，避免shuffle+reduce；对一个表broadcast执行过程为首先计算然后collect，然后通过SparkContext broadcast出去，并且执行过程为线程异步执行，超时时间为spark.sql.broadcastTimeout；现在，在集群上，我偶尔会超过300s的广播加入超时阈值。

limit：获取指定DataFrame的前n行记录并得到一个新的DataFrame对象

自渡

10-07

3382

limit方法获取指定DataFrame的前n行记录，得到一个新的DataFrame对象。和take与head不同的是，limit方法不是Action操作。

pandas和spark dataframe互相转换实例详解

09-17

在大数据处理领域，`pandas` 和 `Spark DataFrame` 是两个重要的工具。`pandas` 是 Python 中用于数据处理和分析的库，而 `Spark DataFrame` 是 Apache Spark 的核心组件，提供了一种分布式数据处理能力。本文将详细...

spark dataframe 将一列展开,把该列所有值都变成新列的方法

09-19

### Spark DataFrame将一列展开，把该列所有值都变成新列的方法在处理大数据时，Apache Spark 是一个非常强大的工具。特别是在数据处理与分析领域，Spark 的 DataFrame API 提供了丰富的功能来帮助用户高效地操作...

Spark学习笔记（三）：Spark DataFrame

01-20

Spark DataFrame 是Spark SQL的核心组件，它是Spark处理结构化数据的主要数据结构。DataFrame相较于RDD（弹性分布式数据集）具有显著的优势，因为它提供了更强的类型安全和更丰富的优化。DataFrame的引入使得Spark更...

roohom#Code-Cookbook#[Spark]将Spark DataFrame中的数值取出1

07-25

[Spark]将Spark DataFrame中的数值取出有时候经过Spark SQL计算得到的结果往往就一行，而且需要将该结果取出，作为字符串参与别的代码块的

Spark：DataFrame介绍及使用

m0_70882914的博客

10-13

1607

DataFrame介绍及使用

Spark SQL limit 函数第二个参数无法解析

T_Y_F_的博客

02-06

1153

Spark SQL limit 函数第二个参数无法解析

【原创】大叔经验分享（15）spark sql limit实现原理

weixin_30376163的博客

12-21

557

之前讨论过hive中limit的实现，详见 https://www.cnblogs.com/barneywill/p/10109217.html下面看spark sql中limit的实现，首先看执行计划： spark-sql> explain select * from test1 limit 10;== Physical Plan ==CollectLimit 10+- HiveTa...

Spark SQL操作之-函数汇总篇-上

coding_hello的专栏

05-28

2906

函数汇总篇部分是整理Spark SQL的内置函数，窗口函数、自定义函数以及自定义聚合函数的用法。本篇主要是分享了内置函数部分，挑了一部分函数的示例说明其用法。包括数学函数，聚合函数，集合函数，字符串处理函数，日期函数等。

spark sql 之 limit

自渡

10-09

6995

limit执行的不是action操作。 show/head一类的是action操作。 Spark limit改进在执行一条SQL，类似sparkSession.sql(“select * from table where id=1 limit 10000000”)这种SQL时，发现速度很慢。后面只有一个partition在处理。 limit的原理就是在先根据查询条件组成一个RDD，然后每个partition取limit数量，再统一发给一个partition，然后取出limit数量的Row. 这个

pyspark踩坑记录

qq_39321513的博客

03-01

438

经过一系列操作后 df4 = df3.join(df) # join出来会是空置，因为是两条DAG合并，df3是一条DAG，执行了limit , df是一条DAG，也执行了limit，两次limit的可能是从不同的分区各拿的1000条数据，因此join不上，join为空。1. df = hc.sql(..... limit 1000) # limit 具有随机性。然后df2 = df.xxx df3 = df2.xxx。

Spark DataFrame算子使用与窗口函数

jiede1的博客

05-05

3675

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...

【Spark】spark dataframe常用操作（一行数据映射为多行）

beautiful_huang的博客

02-11

3847

spark dataframe派生于RDD类，但是提供了非常强大的数据操作功能。当然主要对类SQL的支持。在实际工作中会遇到这样的情况，主要是会进行两个数据集的筛选、合并，重新入库。首先加载数据集，然后在提取数据集的前几行过程中，才找到limit的函数。而合并就用到union函数，重新入库，就是registerTemple注册成表，再进行写入到HIVE中。不得不赞叹dataframe的强大...

Spark-SQL之DataFrame操作大全

weixin_43813200的博客

07-20

4123

本文中的代码基于Spark-1.6.2的文档实现。

上述用spark dataframe python来做