Spark优化(九)：优化数据结构

优化数据结构

Java中，有三种类型比较耗费内存：

 

• 对象，每个Java对象都有对象头、引用等额外的信息，因此比较占用内存空间。

• 字符串，每个字符串内部都有一个字符数组以及长度等额外信息。

• 集合类型，比如HashMap、LinkedList等，因为集合类型内部通常会使用一些内部类来封装集合元素，比如Map.Entry。

 

因此Spark官方建议，在Spark编码实现中，特别是对于算子函数中的代码，尽量不要使用上述三种数据结构，尽量使用字符串替代对象，使用原始类型（比如Int、Long）替代字符串，使用数组替代集合类型，这样尽可能地减少内存占用，从而降低GC频率，提升性能。

但在实践中，我们往往会发现，要做到该原则其实并不容易。因为我们同时要考虑到代码的可维护性，如果一个代码中，完全没有任何对象抽象，全部是字符串拼接的方式，那么对于后续的代码维护和修改，无疑是一场巨大的灾难。

 

同理，如果所有操作都基于数组实现，而不使用HashMap、LinkedList等集合类型，那么对于我们的编码难度以及代码可维护性，也是一个极大的挑战。

 

所以，可以在可能以及合适的情况下，使用占用内存较少的数据结构，但是前提是要保证代码的可维护性。