Node -- 理解Buffer

最新推荐文章于 2023-03-10 17:07:12 发布

原创最新推荐文章于 2023-03-10 17:07:12 发布 · 549 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#buffer #nodejs

前端开发同时被 2 个专栏收录

227 篇文章

订阅专栏

NodeJs

12 篇文章

订阅专栏

本文介绍了Node.js中Buffer对象的基础知识，包括其结构、内存分配机制、与字符串的转换方式以及如何高效地进行Buffer拼接，以提高网络数据处理性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在Node中，应用需要处理网络协议、操作数据库、处理图片、接收上传文件等，在网络流和文件的操作中，还需要处理大量二进制数据。于是Buffer对象应运而生了。

Buffer结构

Buffer是一个像Array的对象，但是主要用来操作字节。

模块结构

Buffer是一个典型的JavaScript和C++结合的模块，它将性能相关部分用C++实现，将非性能部分用JS实现。

由于Buffer太过常见了，Node在进程启动时就已经加载了它，并将其放在全局对象上，所以在使用Buffer的时候，无须通过require就可以直接使用。

Buffer对象

Buffer对象类似于数组，它的元素为16进制的两位数，即0-255。
中文字在UTF-8编码下占用3个元素，字母和半角字符占用一个元素。

可以访问Buffer对象的length属性得到长度，也可以通过下标访问元素。

构造对象：

var buf = new Buffer(100); 
console.log(buf.length); // => 100

这些都和Array很像对吧～

上述代码分配了一个100字节的Buffer对象，它的元素值是一个0-255的随机值。

但是如果我们给Buffer[n]分配的不是0-255的整数或者是小数的时候回怎样呢？

如果给元素的赋值小于0，就会逐次+256，直到得到一个0-255的整数。如果大于255就逐次-256。如果是小数，就直接舍弃小数部分。（喵）

Buffer内存分配

Buffer对象的内存分配不是在V8的堆内存中，而是在Node的C++层面实现内存申请的。

也就是，Node在内存上应用的是在C++层面申请内存，在JS中分配内存的策略。

为了高效的使用申请来的内存，Node采用了slab分配机制。slab是一种动态内存管理机制。

简单而言，slab就是一块申请好的固定大小的内存区域，它有如下3种状态。
1、full：完全分配
2、partial：部分分配
3、empty：没有被分配

Node以8KB为界限来区分Buffer是大对象还是小对象。这个8KB的值也就是一个slab的大小，在JS层面，以它为单位单元来进行内存的分配。

分配小Buffer对象

使用局部变量pool作为中间处理对象。

利用pool的used属性记录使用了slab多少个字节。

再次创建Buffer的时候，回判断当前slab的剩余空间是否足够，不够的话就会构造新的slab，那么原来slab中剩余的空间将被浪费。

分配大Buffer对象

如果需要超过8KB的Buffer对象，将回直接分配一个SlowBuffer对象作为slab单元，这个slab单元将会被这个大Buffer对象独占。

总结：真正的内存是在Node的C++层面提供的，JS层面只是使用它。

Buffer的转换

支持的编码类型：

ASCII
UTF-8
UTF-16LE/UCS-2
Base64
Binary
Hex

字符串转Buffer

通过构造函数完成：

new Buffer(str, [encoding]);// encoding默认为UTF-8

一个Buffer对象可以存储不同编码类型的字符串转码的值。

buf.write(string, [offset], [length], [encoding])

Buffer转字符串

buf.toString([encoding], [start], [end])

Buffer不支持的编码类型

检测是否支持转换某个编码格式：

Buffer.isEncoding(encoding)

很遗憾，在中国常用的GBK，GB2312和BIG-5编码都不支持。（啊哦）

Buffer的拼接

读取文件：

var fs = require('fs');
var rs = fs.createReadStream('test.md');
var data = '';
rs.on("data", function (chunk){
    data += chunk; 
});
rs.on("end", function () { 
    console.log(data);
});

这里的chunk对象就是Buffer对象。

但是，一旦输入流中有宽字节编码时，问题就会暴露出来——会出现乱码。

潜藏的问题来源于：data += chunk;

这段话等价于：data = data.toString() + chunk.toString();

对于宽字节的中文，就会出现问题

乱码是如何产生的

原因就是，中文字在UTF-8编码下占用3个字节，当一个中文字正好被Buffer对象截断的时候，就会出现乱码。

setEncoding & string_decoder

readable.setEncoding(encoding)

var rs = fs.createReadStream('test.md', { highWaterMark: 11});
rs.setEncoding('utf8');

这样就可以消除乱码。

远离就是通过内部的decoder对象，将中文字的3个字符凑在一起。

它并不是万能的，目前只能处理UTF-8、Base64、UCS-2/UTF-16LE这3种编码。

正确拼接Buffer

这才是正确拼接Buffer的方式哦：

var chunks = [];
var size = 0;
res.on('data', function (chunk) {
    chunks.push(chunk);
    size += chunk.length; 
});
res.on('end', function () {
     var buf = Buffer.concat(chunks, size);
     var str = iconv.decode(buf, 'utf8'); 
     console.log(str);
});