spark
关注
分享
扫一扫
文章平均质量分 69
spark相关
spring208208
从事大数据开发运维工作，多年pb级大数据平台运维调优经验；
专注hadoop flink spark hbase等大数据组件源码；
爱好nlp 算法 大模型
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
spark historyserver卡住
从historyserver解析eventLog的流程可知，当spark.eventLog.dir目录下有新生成或大小有增加的日志文件时，historyserver就会对。park historyserver启动后，会启动一个定时任务线程，用来解析spark.eventLog.dir配置目录下spark应用生成的eventLog日志文件。解析日志的线程启动后，会扫描spark.eventLog.dir目录下的所有文件，检查此目录下是否有新生成的文件和大小有增加的文件，过滤筛。所以建议再持续观察一段时间，原创 2025-01-10 16:29:11 · 198 阅读 · 0 评论 -
一次spark streaming 性能抖动问题解决和分析
spark streaming 延迟问题 分析 透明巨页 gc原创 2025-01-09 12:04:42 · 1059 阅读 · 0 评论