Flink内核原理学习（四）内存模型

Flink内核原理学习之 内存模型

---

---

Java、大数据开发学习要点（持续更新中…）

---

一、JVM内存管理的缺点

  目前，大数据计算引擎主要用 Java 或是基于 JVM 的编程语言实现的，Java 语言的好处在于程序员不需要太关注底层内存资源的管理，但同样会面临一个问题，就是如何在内存中存储大量的数据 (包括缓存和高效处理)。JVM的内存管理具有以下的缺点：

1. Java 对象存储密度低：Java 的对象在内存中存储包含 3 个主要部分:对象头、实例数据、对齐填充部分。例如，一个只包含 boolean 属性的对象占 16byte:对象头占 8byte， boolean 属性占 1byte，为了对齐达到 8 的倍数额外占 7byte。而实际上只需要一个 bit(1/8 字节)就够了。
2. Full GC 会极大地影响性能：尤其是为了处理更大数据而开了很大内存空间的 JVM 来说，GC 会达到秒级甚至分钟级（堆内存占用内存大，老年代垃圾回收耗时）。
3. OOM 问题影响稳定性：OutOfMemoryError 是分布式计算框架经常会遇到的问题， 当 JVM 中所有对象大小超过分配给 JVM 的内存大小时，就会发生 OutOfMemoryError 错误， 导致 JVM 崩溃，分布式框架的健壮性和性能都会受到影响。
4. 缓存未命中问题：CPU 进行计算的时候，是从 CPU 缓存中获取数据。现代体系的 CPU 会有多级缓存，而加载的时候是以 Cache Line 为单位加载。如果能够将对象连续存储， 缓存命中概率就高。使得 CPU 集中处理业务，而不是空转。而Java 对象在堆上存储的时候并不是连续的，所以从内存中读取 Java 对象时，缓存的邻近的内存区域的数据往往不是 CPU 下 一步计算所需要的，这就是缓存未命中。此时 CPU 需要空转等待从内存中重新读取数据，如此会降低CPU执行效率。

  因此，Flink大量采用JVM直接内存，将对象序列化到预分配的一块或多块内存块上(MemorySement)作为FIink中的最小内存分配单元，并提供高效的读写方法，很多运算也能直接操作二进制数据。

二、TaskManager内存模型

  Flink 1.10 对 TaskManager 的内存模型和 Flink 应用程序的配置选项进行了重大更改，让用户能够更加严格地控制其内存开销jobmanager.memory.process.size: 1600m。这里就需要引出其内存模型。