流式读取

最新推荐文章于 2025-05-08 11:06:59 发布

0 error（s）0 warning（s）

最新推荐文章于 2025-05-08 11:06:59 发布

阅读量1.3k

点赞数

CC 4.0 BY-SA版权

文章标签： javascript node.js

本文链接：https://blog.youkuaiyun.com/weixin_44845533/article/details/104424225

这篇博客探讨了在Node.js中如何使用流式读取处理大文件，以避免内存溢出问题。介绍了可读流的概念，通过`rs.resume()`和`rs.readableFlowing()`来启动和检查流的状态，以及`rs.on()`方法用于分批读取数据。此外，还讲解了`pipe()`方法，它简化了可读流和可写流之间的数据传输过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

流式读取

在nodejs的文件模块中我们学习了readFile和writeFile,这两种方式在读取、写入体量较小的文件时使用体验较为良好，但是一旦文件体量较大时，就会明显出现卡顿，引发内存溢出等问题，针对这个问题，我们可以用流式读取来做到完美解决

可读流

首先创建stream.js文件，并引入fs模块

const fs = require('fs')

创建可读流的基本代码格式为

const rs = fs.createReadStream('filename')

rs.resume()与rs.readableFlowing()

可读流与普通的读取文件有一个不同的地方，可读流不会自动读取文件，可以理解为可读流是静止的，我们可以使用resume()方法使可读流流动起来

const rs = fs.createReadStream('filename')
rs.resume()

同时也提供了

rs.readableFlowing()

方法来检测可读流是否可以读取数据。当数据没有流动时，rs.readableFlowing()返回null，反之返回true。
rs.resume()也存在一个缺点，他只能使可读流进行流动，但无法获取读到的数据。所以我们用更好的方法来代替它

rs.on()

rs.on()让可读流运动还可以在回调函数中得到可读流读取的数据

//作用：让可读流运动 还可以在回调函数中得到可读流读取的数据 
rs.on('data',function(chunk){
    ws.write(chunk)
})

rs.on() 与 readFile()方法还有一点不一样的是rs.on是把数据分批读取，readFile是把数据一次性读取。当用rs.on读取一个文件时，得到的结果是这样的
在这里插入图片描述
很多个buffer数据的集合。
因为函数底层规定，rs.on一次最多读65536个字节的数据，可以读很多次。

pipe()

不论是rs.on() 还是 readFile()，将一个文件读取并写入到另一个文件都需要两个各自方法的两个函数搭配使用才能达成效果，这样较为麻烦，而pipe方法可以完美解决这个问题

//创建一个读取指定文件的可读流
const rs = fs.createReadStream('D:/Windows 7 Documents/Desktop/1.mp4')

//创建一个在指定文件写入的可写流
const ws = fs.createWriteStream('./2.mp4')

rs.pipe(ws)