本文介绍了一种针对Hadoop任务执行效率的优化方案——JVM复用。通过该技术在一个作业中多个任务可以共享同一个JVM实例，有效减少了因频繁启动JVM带来的开销。实测表明，在处理4715个Map任务和20个Reduce任务的场景下，采用JVM复用技术后，整个作业的执行时间从1464秒缩短到1375秒，提升了6%的执行效率。
Hadoop默认为每个task（map task 或者 reduce task） 启动一个jvm。
鉴于目前小文件过多的问题，设置了jvm复用，即一个job内，多个task共享jvm，避免多次启动jvm，浪费资源和时间。
测试Job信息：
map：4715个
reduce：20个
input： 34G
output: 25G
优化前：1464 s
优化后：1375 s
Job运行时间减少 6%
CPU使用率情况：
*注意: mapred.job.reuse.jvm.num.tasks这个参数是客户端参数，修改不需要重启tasktracker，可以在提交job的shell或者代码中设置。
-- heipark
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
