记一次Spark cache table导致的数据问题以及思考

于 2024-05-22 19:54:53 发布
阅读量543 收藏 4
点赞数 4
文章标签： spark 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/monkeyboy_tech/article/details/139128241
版权

目前在做 Spark 升级(3.1.1升级到3.5.0)的时候，遇到了cache table导致的数据重复问题，这种情况一般来说是很少见的，因为一般很少用cache table语句。
当然该问题已经在Spark3.5.1已经解决了,可以查看对应的 SPARK-46995和SPARK-45592
从以上的分析知道：是在做join的一方(包含了AQEshuffleRead-coalesced) 影响了join的另一方，导致EnsureRequirements规则在做执行前检查的时候，会把join的另一个方的shuffle 数据调整为 包含了AQEshuffleRead-coalesced）的一方：

                      Scan
                       |
                   Shuffle(200)
                       |
  Scan           AQEShuffleRead(10)
   |                   |
Shuffle(10)   InMemoryTableScanExec
    \            /
         Join

这会导致shuffle后的数据进行了错位（因为之前是shuffle(200),现在变成了shuffle(10)），具体原因笔者还是没有分析清楚，但是其中涉及到的点跟规则EnsureRequirements 以及 CoalesceShufflePartitions 有关，
EnsureRequirements 会做一些执行前的判断，主要是做任务shuffle的协调，
CoalesceShufflePartitions 中 collectCoalesceGroups 会收集 QueryStageExec ，如果是 join 的话，则会join的子节点会收集到一个组里去，这样就能看到 join中会有 AQEShuffleRead coalesced 成对出现

问题：Spark SQL 读不到 Flink 写入 Hudi 表的新数据，打开新 Session 才可见
Laurence的技术博客
02-21 1500
使用 Flink 向 Hudi 表中写入数据，使用 Spark SQL 的 Shell 查询 Hudi 表（使用的是 Hudi HMS Catalog 统一管理和同步 Hudi 表的元数据），结果在 Spark 中只能查询到打开 Shell 之前表中的数据，之后通过 Flink 写入的数据不可见，但重新打开一个新的 Spark SQL Shell，就可以看到了。
SparkSQL缓存的用法
SunnyRivers
08-27 1245
CACHE TABLE（缓存表）UNCACHE TABLE（清除指定缓存表）CLEAR CACHE（清除所有缓存表）下面我们详细讲解这些语句的使用方法。
Spark SQL 源码分析之 In-Memory Columnar Storage 之 cache table
OopsOutOfMemory盛利的博客
09-25 1万+
Spark SQL缓存到内存中的数据的存储策略
Spark SQL利器：cacheTable/uncacheTable
zdy0_2004的专栏
11-04 1054
http://www.cnblogs.com/yurunmiao/p/4936583.html Spark相对于Hadoop MapReduce有一个很显著的特性就是“迭代计算”（作为一个MapReduce的忠实粉丝，能这样说，大家都懂了吧），这在我们的业务场景里真的是非常有用。   假设我们有一个文本文件“datas”，每一行有三列数据，以“\t”分隔，模拟生成文件的代码如下：  
Spark原理之Cache Table的工作原理及实现自动缓存重复Table Scan的思考
Dreamming Time的博客
04-26 2505
CACHE TABLE，可以让用户自定义要缓存的结果集，实际上就是一个临时表，不过数据存储在Spark集群内部，由Application所分配的executors管理。 一旦定义了一个缓存表，就可以在SQL脚本中随处引用这个表名，提高数据检索速度，同时也会资源不必要的资源开销。
SparkSQL 技巧 - cache table 缓存 和 stack生成列
huochuangchuang的专栏
04-13 2265
–缓存性别表，表名sex，字段名sex，有2行 cache table sex_table as select stack(2,‘M’,‘F’) as sex; –缓存缴费期表，表名ppp_table，字段名ppp，有4行 cache table ppp_table as select stack(4,10,15,20,30) as ppp; –生成一个1~200的顺序表。因为接下来的连续的投保年龄，和连续的保单年度，都不会超过200，所以200已经够用。 cache table seq_table as
spark sql cache
感谢你的关注~~~~ღ( ´･ᴗ･` )
10-15 980
https://blog.youkuaiyun.com/lsshlsw/article/details/48662669
SparkSql Cache Table类语法编译原理
JiajunBernoulli的博客
10-12 1952
最近需要在自研的引擎实现SparkSQL的Cache Table逻辑，于是调研了一下相关语法的原理。
记一次Spark ThriftServer Bug排查
Deegue
07-01 2591
问题描述 我们在用Spark ThriftServer（以下简称STS）用在查询平台时，遇到了以下报错： ERROR SparkExecuteStatementOperation: Error executing query, currentState RUNNING, org.apache.spark.sql.AnalysisException: org.apache.hadoop.hive.q...
spark 缓存表的使用
LXP
11-30 3937
spark 几种缓存数据的方法1- 缓存表2-缓存结果查看3-缓存参数设置 1- 缓存表 1、cache table //缓存全表 sqlContext.sql("CACHE TABLE activity") //缓存过滤结果 sqlContext.sql("CACHE TABLE activity_cached as select * from activity where ...") CACHE TABLE是即时生效(eager)的，如果你想等到一个action操作再缓存数据可以使用CACHE LA
Spark读写Hive表导致cache失效问题
淡定一生2333的博客
03-07 988
最近写spark程序的时候发现了一个奇怪问题。我cache了两个DataFrame，暂且称它们为A和B好了，然后将A和B通过SQL语句以inser overwrite的方式分别写入到两张Hive表中。但是发现如果我先将A写入再写入B，B这个DataFrame会触发重新计算...曾经一度以为自己触发了Spark某个未知的Bug，但是突发奇想将代码的顺序换了一下，先写入B再写入A，发现cache又是生效的。两者的执行计划分别如下所示，确实一个走了cache，另外一种没走： 找了半天终于在Spar...
Spark的cache与checkpoint优化
king_a_123的博客
12-05 1660
1.SPARK中一些通用的或者重要的RDD最好是做一个cache缓存，缓存到内存或者硬盘中，这样下次用到这个RDD数据的时候就不用从头开始计算了，直接从缓存读取即可！ 2由于某种原因也可能我们用cache或者Persist缓存的RDD数据，也可能会出现缓存这些数据的一部分机子突然挂掉等，如果此时还想更保险的保存该RDD的结果，最好就checkpoint一下，将checkpointDir设置为HD
【Spark】sparkSQL中cache的若干问题
Insist
07-07 2307
摘要 sparkSQL在使用cache缓存的时候，有时候缓存可能不起作用，可能会发出缓存是假的吧的感慨。现在我们就把这个问题说道说道。 问题 场景描述 当我们通过spark进行统计和处理数据时，发现他是延迟计算的，如果一个应用中出现多个action,而这多个action处理同一个数据源数据时，数据源用时间来过滤数据时，由于有多个action操作，遇到每个action就是一个job，每一个action都会执行数据源获取数据的操作，由于两个action之间的操作存在时间差，这两个action获取的数据有可
spark cache (几种缓存方法)
一条咸鱼的博客
11-27 3419
sql语句中cache //缓存全表 sqlContext.sql("CACHE TABLE activity") //缓存过滤结果 sqlContext.sql("CACHE TABLE activity_cached as select * from activity where ...") //取消缓存 sqlContext.sql("UNCACHE TABLE activi...
Spark中cache、persist、checkpoint区别
weixin_43866709的博客
03-22 559
spark中的cache、persist、checkpoint都可以将RDD保存起来，进行持久化操作，供后面重用或者容错处理。但是三者有所不同。
Spark之 cache 的坑
weixin_36630761的博客
09-19 3444
转子：http://bit1129.iteye.com/blog/2182146    调用reduceByKey对应的ShuffledRDD对应的cache   cache不起作用   Java代码   package spark.examples    import org.apache.spark.SparkConf  import org.
spark实战之RDD的cache或persist操作不会触发transformation计算
热门推荐
zhaojianting的博客
02-24 1万+
默认情况下RDD的transformation是lazy形式，实际计算只有在ation时才会进行，而且rdd的计算结果默认都是临时的，用过即丢弃，每个action都会触发整个DAG的从头开始计算，因此在迭代计算时都会想到用cache或persist进结果进行缓存。敝人看到很多资料或书籍有的说是persist或cache会触发transformation真正执行计算，有的说是不会！敝人亲自实验了一把...
spark-sql执行一条sql1000次
最新发布
05-09
<think>好的，我现在需要解决用户的问题：如何在Spark SQL中高效执行同一条SQL语句1000次并进行性能优化。首先，我得仔细分析用户的需求。用户可能是在做压力测试，或者需要重复执行某个查询来验证结果或性能。优化这样的场景需要考虑多个方面，比如减少重复编译、调整资源分配、缓存中间结果等。 首先想到的是代码生成优化。根据引用[1]，spark.sql.codegen这个参数可以将SQL查询预编译为Java字节码，这对于频繁执行的查询很有帮助，因为它避免了每次执行时的编译开销。不过对于短查询可能不太适用，但用户执行的是同一条SQL 1000次，所以开启这个选项应该有效。需要提醒用户注意，短查询可能会有额外开销，但在这里应该没问题。 接下来是缓存结果。如果每次执行的SQL都是完全相同的，并且数据没有变化，可以考虑缓存DataFrame或表。引用[3]提到，Spark SQL在缓存时会分批压缩数据，调整batchSize可能提升缓存效率。使用persist()或cache()方法，选择合适的存储级别，比如MEMORY_AND_DISK，可以减少重复计算的开销。 然后是调整shuffle分区数。引用[2]指出spark.sql.shuffle.partitions默认是200，但可以根据数据量调整。如果数据量较大，增加分区数可以提升并行度，减少每个任务的处理时间。不过如果数据量小，过多的分区反而会导致任务调度开销增大，需要根据具体情况调整。 并行执行也是一个关键点。用户可能顺序执行1000次，但Spark支持并行任务。使用线程池或者将任务分发到集群节点并行执行，可以大大缩短总时间。比如将1000次执行分成多个批次，并行处理。 参数调优方面，除了提到的codegen和shuffle分区，内存管理和序列化也很重要。调整executor内存、核心数，使用Kryo序列化，可以减少GC开销和序列化时间。例如，spark.serializer设置为Kryo，并注册需要的类。 另外，查询执行计划分析也很必要。通过.explain()查看是否有不必要的步骤，或者能否通过谓词下推等优化减少数据读取量。同时，确保数据源本身已经优化，比如分区合理，使用列式存储格式如Parquet，这样读取更快。 用户可能没有提到的是数据是否变化，如果每次执行的数据不同，可能需要考虑其他优化，比如批量处理。但假设数据不变，缓存是最直接的方法。同时，要避免重复创建SparkSession，重复连接的开销。 还需要注意任务提交的开销，比如每次执行是否单独提交任务，这可能引入额外延迟。使用foreach或循环结构来执行，但结合并行化处理，比如将1000次执行转换为RDD或Dataset的并行操作。 最后，监控和测试不同的优化组合，通过Spark UI观察各个阶段的耗时，找到瓶颈所在。比如是否在shuffle阶段花费太多时间，或者数据倾斜导致某些任务拖慢整体进度。 总结可能的优化步骤：开启代码生成，缓存数据，调整shuffle分区，并行执行，优化资源配置，分析执行计划，使用高效数据格式。需要根据具体情况测试不同参数的组合效果，找到最佳配置。</think>### Spark SQL高效执行同一条SQL语句1000次的性能优化方案 #### 1. **代码生成优化** - **启用预编译字节码**：通过配置 `spark.sql.codegen=true`，将SQL语句编译为Java字节码，减少重复编译开销。此优化对高频执行的SQL效果显著[^1]。 ```scala spark.conf.set("spark.sql.codegen", "true") ``` #### 2. **缓存中间结果** - **持久化查询结果**：如果SQL查询涉及重复计算的中间表或DataFrame，使用`.persist()`或`.cache()`缓存数据，避免重复计算。 ```scala val cachedDF = spark.sql("SELECT * FROM table").persist(StorageLevel.MEMORY_AND_DISK) ``` - **调整缓存批次大小**：通过 `spark.sql.inMemoryColumnarStorage.batchSize` 控制压缩批次（默认1000），平衡内存和压缩效率[^3]。 ```scala spark.conf.set("spark.sql.inMemoryColumnarStorage.batchSize", "2000") ``` #### 3. **并行执行优化** - **并行化任务调度**：将1000次执行任务分配到多个线程或Executor上并行处理。例如，使用Scala的并行集合： ```scala (1 to 1000).par.foreach { _ => spark.sql("SELECT * FROM cached_table").show(false) } ``` - **调整并行度参数**：增加 `spark.default.parallelism` 和 `spark.sql.shuffle.partitions`，提升任务并行度[^2]。 ```scala spark.conf.set("spark.default.parallelism", "400") spark.conf.set("spark.sql.shuffle.partitions", "400") ``` #### 4. **资源与参数调优** - **Executor资源配置**：增大Executor内存和核心数，减少GC频率。 ```bash spark-submit --executor-memory 8g --executor-cores 4 ... ``` - **启用Kryo序列化**：减少序列化时间和网络传输开销。 ```scala spark.conf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer") ``` #### 5. **执行计划优化** - **分析查询计划**：通过 `.explain()` 检查逻辑计划和物理计划，确保无冗余操作。 ```scala spark.sql("SELECT * FROM table").explain(extended=true) ``` - **谓词下推与列式读取**：若使用Parquet/ORC格式，自动应用谓词下推减少I/O量。 #### 6. **避免重复初始化** - **复用SparkSession**：确保所有查询共用同一个SparkSession，避免重复初始化开销。 ```scala val spark = SparkSession.builder.config(/* 统一配置 */).getOrCreate() ``` #### 性能对比示例 | 优化策略 | 单次执行耗时 | 总耗时（1000次） | |---------------------------|--------------|------------------| | 无优化 | 2.5s | ~2500s | | 代码生成+缓存 | 0.8s | ~800s | | 并行执行+资源调优 | 0.6s | ~120s (并行200任务) |
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值