Apache Pig ObjectSerializer优化

最近又遇到一次Tasktracker OOM的问题, 分析过程如下:

1. 用MemoryAnalyzer分析heap dump, 如下图:

发现又是大量的String类型的内存占用.

进一步分析String的持有,如下:

发现是JobConf 对象持有了大量的string. 这个已经不奇怪了, hadoop要放很多job相关的配置到JobConf中,很多JobTracker Tasktracker的OOM都跟这个有关.

继续看String的内容:

却是很多乱七八糟的内容,不像是可读的配置. 根据Entry的key查找pig源代码, 发现是这样的:

原来Pig将很多的对象序列化再编码成字符串存储在了JobConf中!

只有压缩ObjectSerializer的输出再编码了.

改了代码, 上线运行, 没问题!

mailing list里面一吼, 结果发现有人在我前两天提交了一样的功能..... 这个,,这个就怪为嘛我们的系统没有提前3天OOM呢? >.<

官方patch在这里: PIG-3017

这类型的bug基本上是谁遇到的早, 谁就会有机会fix. 可遇不可求啊.

-- EOF --