死磕 Netty 之内存篇：探索那个不为人知的堆外内存

Netty 为什么使用堆外内存

为什么说堆外内存也是 Netty 实现零拷贝的一种方式？首先我们需要清楚明白，任何减少 CPU 拷贝的技术我们都可以叫做零拷贝，那使用堆外内存在哪里减少了 CPU 拷贝呢？

我们再次回顾这张图：

这里大明哥在简述 write() 过程：

1. 应用程序调用 write() 向网卡写入数据
2. CPU 将数据从用户缓冲区拷贝到内核缓冲区
3. DMA 将数据从内核缓冲区拷贝到网卡

到这里不知各位小伙伴有这样一个疑问没有：堆外内存也是用户缓冲区，也是需要 CPU 拷贝到内核缓冲区，为什么 Netty 使用堆外内存就能够减少一次 CPU 拷贝呢？我们来看 Java NIO SocketChannel。

在利用 SocketChannel 进行通信时我们一般会写这样一段代码：

ini

复制代码

SocketChannel socketChannel = SocketChannel.open(); ByteBuffer buf = ...; socketChannel.write(buf);

调用 write() 方法：

java

复制代码

public int write(ByteBuffer buf) throws IOException { if (buf == null) throw new NullPointerException(); synchronized (writeLock) { //.. try { //... for (;;) { // 调用IOUtil.write写数据 n = IOUtil.write(fd, buf, -1, nd); if ((n == IOStatus.INTERRUPTED) && isOpen()) continue; return IOStatus.normalize(n); } } finally { // .. } } }

调用 IOUtil.write() 来写数据：

scss

复制代码

static int write(FileDescriptor fd, ByteBuffer src, long position, NativeDispatcher nd) throws IOException { if (src instanceof DirectBuffer) // 堆外内存直接走这里 return writeFromNativeBuffer(fd, src, position, nd); // Substitute a native buffer int pos = src.position(); int lim = src.limit(); assert (pos <= lim); int rem = (pos <= lim ? lim - pos : 0); // 申请堆外内存 ByteBuffer bb = Util.getTemporaryDirectBuffer(rem); try { // 将数据写入到堆外内存 bb.put(src); bb.flip(); src.position(pos); // 走堆外内存写数据 int n = writeFromNativeBuffer(fd, bb, position, nd); if (n > 0) { // now update src src.position(pos + n); } return n; } finally { Util.offerFirstTemporaryDirectBuffer(bb); } }

1. 如果是堆外内存就直接调用 writeFromNativeBuffer()
2. 如果不是堆外内存就先申请一个堆外内存，然后将数据拷贝过去，最后调用 writeFromNativeBuffer() 。

所以如果我们不直接使用堆外内存，那么 SocketChannel 会先申请一个堆外内存，然后将数据拷贝到堆外内存，最后写入到内核缓冲区。那为什么不直接将堆内内存拷贝到内核缓冲区呢？偏偏要过一个堆外内存？我们继续看 writeFromNativeBuffer()：

scss

复制代码

private static int writeFromNativeBuffer(FileDescriptor fd, ByteBuffer bb, long position, NativeDispatcher nd) throws IOException { // .. if (position != -1) { // written = nd.pwrite(fd, ((DirectBuffer)bb).address() + pos, rem, position); } else { // written = nd.write(fd, ((DirectBuffer)bb).address() + pos, rem); } if (written > 0) bb.position(pos + written); return written; }

最终是调用 NativeDispatcher.write()，其定义如下：

java

复制代码

abstract int write(FileDescriptor fd, long address, int len) throws IOException;

第二个参数是 long address࿰