【Spark】A Step-by-step Guide for Debugging Memory Leaks in Spark Applications

翻译自 Databricks 的博客: https://databricks.com/blog/2020/12/16/a-step-by-step-guide-for-debugging-memory-leaks-in-spark-applications.html

这篇文章是翻译 Databricks 的一篇博客，这是一篇很不错的文章，看完之后，大家基本可以靠自己一步一步地去发现 Spark 应用内存泄漏的原因了，这里就不做完整的翻译了，根据大纲大概解读一下。

This job kept on crashing approximately every 3 days.

任务每三天 Crash 一次，这里就很典型的内存泄漏的问题了，内存泄漏就好比是垃圾桶一样，每天制造一点垃圾，垃圾桶就会慢慢满了。如果第一下看代码没看到，就注意一下是不是什么连接没有 close() 之类的。