Spark在读目录时候GC，Listing leaf files and directories

最新推荐文章于 2023-04-26 19:35:11 发布
最新推荐文章于 2023-04-26 19:35:11 发布
阅读量1.4k 收藏 2
点赞数 1
分类专栏： Spark异常问题汇总 文章标签： spark big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Shockang/article/details/120790053
版权
本文探讨了在Spark处理数据时遇到的小文件过多导致GC问题，具体表现为在列举目录时触发垃圾回收。解决方案建议增加堆外内存和调整Driver端内存设置，以缓解小文件过多引起的问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前言

本文隶属于专栏《Spark异常问题汇总》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

本专栏目录结构和参考文献请见 Spark异常问题汇总

正文

Spark在读目录时候GC，Listing leaf files and directories

Listing leaf files and directories for 259 paths:
hdfs://growingFS/modou/userevent/userevent/label/__date__=20210103

解决

小文件过多，推荐先加堆外内存，Driver 端内存调大一点

Spark--一文了解WebUI_spark web ui
2401_89791770的博客
01-12 724
StatusDAG图。
Listing leaf files and directories for 来自哪里
寒夜
09-03 599
spark2.3.0 https://github.com/apache/spark/blob/d6a68e0b67ff7de58073c176dd097070e88ac831/sql/core/src/main/scala/org/apache/spark/sql/execution/datasources/InMemoryFileIndex.scala val statusMap = try { val description = paths.size match { cas
List files and directories
桂林哈秋 - 我想学编程
11-04 1151
In this tutorial I will show you how to list files in a directory in a pretty way.This can be a nice way to make files available in a simple way via a web site. There a some security stuff that you
spark之推测执行
qq_34382453的博客
01-04 1762
1、什么是推测执行？   在spark作业运行中，一个stage里面的不同task的执行时间可能不一样，有的task很快就执行完成了，而有的可能执行很长一段时间也没有完成。造成这种情况的原因可能是集群内机器的配置性能不同、网络波动、或者是由于数据倾斜引起的。而推测执行就是当出现同一个stage里面有task长时间完成不了任务，spark就会在不同的executor上再启动一个task来跑这个任务，...
Spark-bug总结之一次task长时间卡住不动,一直Running的问题解决
一个记录普通男孩在ＩＴ界学习思考感悟的地方
02-28 6313
目录 现象 排查 现象 spark提交任务后，某一个Stage卡住，通过spark界面看到，executor运行正常，卡住的Stage的task已经分配至executor，但task 一直在running并且数据量不大，task不结束，同时log中也无异常报出。 20/07/27 07:40:13 INFO CoarseGrainedExecutorBackend: Started daemon with process name: 15841@ip-10-3-1-141.ec2.i
一次Spark程序运行缓慢原因排查
houpk999的博客
02-27 4075
功能：判断车辆轨迹数据在指定区域内停留时间超过半小时。 实现思路：车辆定位数据生成RDD，遍历RDD每个元素，判断是否在指定区域内，如果在，则累加计算停留时间，最后判断停留时间是否超过半小时。 代码： sortLocationInfoRDD.foreachPartition( new VoidFunction<Iterator<CarLo...
Spark sql 读文件的源码分析
rover
08-17 1548
从spark jobs监控页面上经常看到这种job： Listing leaf files and directories for 100 paths: 如图： 这其实是spark sql在读一大堆文件。 最简单的demo语句，这样读文件： val df = session.read.json("path/to/your/resources/data.json") 或者 session.read.parquet(file_path) 或者 session.read.c...
spark读取文件源码分析-1
寒夜
09-10 2754
文章目录1. 问题背景2. 测试代码3. 生成的DAG图1. job02. job14. job0 产生的时机源码分析1. 调用DataFrameReader.load，DataFrameReader.loadV1Source2. 调用DataSoure.resolveRelation方法3. 调用DataSource.getOrInferFileFormatSchema()4. InMemoryFileIndex 初始化5. 调用InMemoryFileIndex.bulkListLeafFiles 方法
Spark 数据读取冷启动优化分析
大数据星球-浪尖
03-22 701
有时候会发现即使是读取少量的数据，启动延时可能也非常大，针对该现象进行分析，并提供一些解决思路。背景Spark 一次查询过程可以简单抽象为 planning 阶段和 execution 阶...
Spark 本地程序启动缓慢问题排查
半日闲的博客
03-04 1211
今天测试spark 本地任务的时候，发现程序每次启动的时候都要等好久，才能开始正常进入启动程序，严重干扰了Debug的节奏。那就开始把～～ 加上Yourkit的启动参数，其中 tracing 参数表示启动的时候就开始进行 tracing 级别的CPU profiling，其他几种 profiling级别可以根据需要调整。 spark.driver.extraJavaOptions -agen...
spark错题本
epitomizelu的专栏
04-15 8853
一，Task not serializable 原因：用了mysql的jdbc，其connect需要在各个服务器上单据创建，不能集群共享一个数据连接。 下图中的driver和excutor不在同一台服务器，connection不能共享。
Spark 异常问题汇总
Shockang的博客
10-16 6162
前言 本专栏主要汇总工作学习中遇到的一些 Spark 异常问题，也包括一些比较难实现的需求分析。 后续问题多了会分门别类，暂时只记录 目录 Consider boosting spark.yarn.executor.memoryOverhead org.apache.spark.util.SparkFatalException spark left join 和 right join 的坑 Spark 算子返回NULL Shuffle output file lost Spark的临时数据不自动清理 o
SparkUI超详细解释（2）——Stages
2301_77818583的博客
04-26 3161
推测的原因是这个stage对应的是以下面的代码，上下两个shuffle的key相同又有一次union all，所以可以放在一个stage中，虽然task数量是4000，但是上面的shuffle数据是分在2000个task中，下面的是另一个2000task中，并不会两者合在一起hash到4000个task中。”下的一些指标上，也可以看到相关信息，或更具体的说明。task的时间线，以条形图+不同颜色的方式描述了各个task的不同动作下的耗时，鼠标浮动到某个条形图上，可以看到该task具体的各项时间。
spark读取hive表异常，处理WARN HiveExternalCatalog: The table schema given by Hive metastore
qq_28658621的博客
04-05 6731
spark读取hive表异常：WARN HiveExternalCatalog: The table schema given by Hive metastore...We have to fall back to the table schema from Hive metastore which is not case preserving.
spark.sql.sources.parallelPartitionsDiscovery.threshold
leehbing的博客
01-29 1695
streamingdumping运行多天后出现，每个batch多了一个Job（38/38的job），而且该任务的耗时比较长，会使任务积压，driver的日志如下： 2019-01-29 11:55:01,631 INFO datasources.PartitioningAwareFileIndex: Listing leaf files and directories in parallel...
Files and Directories
weixin_30770783的博客
09-04 867
Files and Directories Introduction In the previous chapter we covered the basic functions that perform I/O. The discussion centered on I/O for regular files—opening a file, and reading or ...
org.apache.spark.SparkException: Task not serializable
热门推荐
Shockang的博客
07-25 3万+
报错原因解析如果出现“org.apache.spark.SparkException: Task not serializable”错误，一般是因为在 map 、 filter 等的参数使用了外部的变量，但是这个变量不能序列化(不是说不可以引用外部变量，只是要做好序列化工作)。
Consider boosting spark.yarn.executor.memoryOverhead
Shockang的博客
07-24 2万+
前言 本文隶属于专栏《Spark异常问题汇总》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见 Spark异常问题汇总 问题描述 spark submit 报错： org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 2.0 failed 4 times, most recent failure: Lost task 0.3 in st
#!/bin/bash echo "Listing all files and directories in current directory:" echo "------------------------------------------------------" for file in *; do if [[ -d "$file" ]]; then echo "$file is a directory" elif [[ -f "$file" ]]; then echo "$file is a file" fi done解释
最新发布
06-01
echo "Listing all files and directories in current directory:" echo "------------------------------------------------------" ``` 这两行代码用于输出一些文本，以便用户知道该脚本正在做什么。 ```bash ...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值