[每日一氵] PySpark 的 log GC 部分是什么意思_pyspark gc.log怎么看-优快云博客

本文链接：https://blog.youkuaiyun.com/HaoZiHuang/article/details/143791235

2024-11-15T11:10:40.292+0800: 2850.503: [GC (Allocation Failure) [PSYoungGen: 142705K->3472K(141312K)] 1403514K->1264289K(1543168K), 0.0170225 secs] [Times: user=0.05 sys=0.00, real=0.01 secs]

这一行日志来自Java的垃圾收集器（Garbage Collector, GC），并且是在使用Spark时产生的。下面会逐一解释这一行日志中的各个部分：

时间戳：2024-11-15T11:10:40.292+0800
这表示垃圾收集事件发生在2024年11月15日，时间是11:10:40.292，时区是+0800（即东八区，通常是中国、台湾、香港、澳门等地的时区）。
GC事件：2850.503: [GC (Allocation Failure)
2850.503：这是Java虚拟机（JVM）启动后的秒数，表示从JVM启动到这次GC事件发生已经过去了大约2850.503秒。
[GC (Allocation Failure)：这表示发生了一次GC事件，原因是“分配失败”（Allocation Failure），即JVM在尝试为新对象分配内存时，发现没有足够的空间，从而触发了垃圾收集。
内存变化：[PSYoungGen: 142705K-&g