第24课：使用MAT动态分析Spark应用程序初体验

最新推荐文章于 2021-04-30 11:44:37 发布

大模型与Agent智能体

最新推荐文章于 2021-04-30 11:44:37 发布

阅读量802

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据JVM性能优化实战

热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行

本文链接：https://blog.youkuaiyun.com/duan_zhihua/article/details/51530978

大数据JVM性能优化实战专栏收录该内容

8 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了如何在MAT工具中对运行中的Spark应用程序进行动态分析。由于遇到MAT无法直接连接到本地Java进程的问题，作者通过触发OnOutOfMemoryError，生成了一个heapdump文件，从而能够静态地检查Spark的运行状态。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

第24课：使用MAT动态分析Spark应用程序初体验

/* 王家林老师授课http://weibo.com/ilovepains 每天晚上20：00YY频道现场授课频道

68917580*/

1 如何使用mat直接分析运行中的spark程序
2 用mat直接分析运行中的spark程序初体验

MAT动态连接ecliplse连不上，
Acquire a heap dump from a locally running Java process.是空白的；

动态连不了，只好想办法，静态来查看spark的运行情况，人工造出一个OnOutOfMemoryError，生成IMFheap2.bin，就可以查看spark相关的内容了


WordCount 运行结果：

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
16/05/29 17:37:04 INFO SparkContext: Running Spark version 1.6.0
16/05/29 17:37:07 INFO SecurityManager: Changing view acls to: admin
......
and : 10
command, : 2
./d

了解本专栏