Java启动参数与内存调优一些学习笔记
https://blog.youkuaiyun.com/rishengcsdn/article/details/40301015
Vmstat命令详解:查看系统与用户占cpu比率,排除线程频繁切换状况
https://www.cnblogs.com/tommyli/p/3746187.html
查看Spark进程的JVM配置及内存使用
https://blog.youkuaiyun.com/nysyxxg/article/details/76515940
1、通过ps命令查询PID
2、使用jinfo命令查询该进程的JVM参数设置
3、使用jmap查看进程中内存分代使用的情况
4、堆大小参考:jmap -heap pid
Linux监控命令
http://man.linuxde.net/ifstat
spark jvm调优笔记
https://blog.youkuaiyun.com/lw_ghy/article/details/52946136
Spark性能优化总结
https://blog.youkuaiyun.com/ainidong2005/article/details/53152605
yarn 配置log4j日志输出
https://blog.youkuaiyun.com/mtj66/article/details/53885496
强制GC日志
jmap -histo:live pid
Spark中分组后的TopN,以及Spark的优化(二阶段聚合groupBy)
http://www.mamicode.com/info-detail-1696507.html
Spark Shuffle FetchFailedException解决方案
https://blog.youkuaiyun.com/lsshlsw/article/details/51213610
Spark性能调优:使用Kryo序列化库、RDD的压缩
https://blog.youkuaiyun.com/leen0304/article/details/78732171
https://blog.youkuaiyun.com/rishengcsdn/article/details/40301015
Vmstat命令详解:查看系统与用户占cpu比率,排除线程频繁切换状况
https://www.cnblogs.com/tommyli/p/3746187.html
查看Spark进程的JVM配置及内存使用
https://blog.youkuaiyun.com/nysyxxg/article/details/76515940
1、通过ps命令查询PID
2、使用jinfo命令查询该进程的JVM参数设置
3、使用jmap查看进程中内存分代使用的情况
4、堆大小参考:jmap -heap pid
Linux监控命令
http://man.linuxde.net/ifstat
spark jvm调优笔记
https://blog.youkuaiyun.com/lw_ghy/article/details/52946136
Spark性能优化总结
https://blog.youkuaiyun.com/ainidong2005/article/details/53152605
yarn 配置log4j日志输出
https://blog.youkuaiyun.com/mtj66/article/details/53885496
强制GC日志
jmap -histo:live pid
Spark中分组后的TopN,以及Spark的优化(二阶段聚合groupBy)
http://www.mamicode.com/info-detail-1696507.html
Spark Shuffle FetchFailedException解决方案
https://blog.youkuaiyun.com/lsshlsw/article/details/51213610
Spark性能调优:使用Kryo序列化库、RDD的压缩
https://blog.youkuaiyun.com/leen0304/article/details/78732171