nodejs文件异步操作

最新推荐文章于 2024-06-22 09:34:35 发布
原创 最新推荐文章于 2024-06-22 09:34:35 发布 · 833 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#nodejs io异步操作流程

本文选取JS read来研究Node.js文件操作流程。从JS文件read函数实现入手，分析其调用C层read函数，绑定JS与C操作接口。详细探究了AsyncCall、uv_fs_read等关键函数，揭示了IO操作及回调函数调用过程，还涉及线程创建、队列操作等内容。

选取js read来理解nodejs文件操作的流程
首先来看下，JS文件read函数的实现
src/fs.js未尾一句话，表明它调用了C层的read函数。
在src/node_file.cc里面的initialize函数初始化，绑定了JS与C的操作接口
在这里插入图片描述我们这里以read为例研究流程，那么就跳到read实现，如下图
在这里插入图片描述这里核心调用就是AsyncCall，来看它的实现
在这里插入图片描述关键调用req_wrap->Dispatch.来找找它的实现，在src/req_wrap-inl.h文件里面
在这里插入图片描述那么callLibuvFunction又是什么，如下图代码实现
在这里插入图片描述看到这里就知道了 fn 就是uv_fs_read ， read函数实际就是调用uv_fs_read这个函数。然后我们来看uv_fs_read这个接口的实现在这里插入图片描述这里进行了一些初始化的动作，还没有到IO操作。继续往下跟，看宏POST的实现
在这里插入图片描述这里传进去两个函数指针，一个是需要执行的操作，一个是执行完后需要的操作
在这里插入图片描述到这里就看到了read的具体实现uv__fs_read，这个函数就是具体实现。看到我们熟悉的read操作啦。那么done又是什么，看实现
在这里插入图片描述
就一句话调用req->cb函数指针。cb是什么呢，往上爬楼。可以看到cb就是我们JS里面传递进来的回调函数.到这里脑补下基本上就能圆上来了，继续往下看
在这里插入图片描述
这里又有个 post来看看它的实现。重头戏来了，它的实现在deps/uv/src/unix/threadpool.里面
在这里插入图片描述这段代码的意思，就是把work加入到低速工作队列slow_io_pending_wq末尾.那么slow_io_pending_wq又是在什么时候初始化的呢,找了下也是在同一个文件里面在这里插入图片描述好么,这里进行的初始化.然后后面就开始创建线程了,不是说nodejs只有一个线程么?不管了继续看吧,这一下就创建了四个线程,看下线程执行函数worker.在这里插入图片描述就是从run_slow_work_message队列中取出一个QUEUE.然后执行work(这里就是uv__fs_read).
再把自己加入到UV轮循主线和的 wq队列中
然后调用uv_async_send通知nodejs轮循事件主线程,告诉它事情做完了.并将它自己挂到主线程的列队中去,以便主线程调用JS回调函数
在这里插入图片描述
在这里插入图片描述就是向主线的观察描述符随便写点数据,以便触发主线async_io_watcher的观察者
在这里插入图片描述当async_io_watcher里面有数据了以后.会跳出这个for循环,然后把自己加入到async_handle队列.同时调用async_cb函数.这个函数指针哪里来,也在同文件里面

在这里插入图片描述可以看到在初始化的时候对其进行赋值.这个初始化调用者就是uv轮循事件主线
在deps/uv/src/unix/loop.c里面,uv_loop_t 结构体初始化函数里面
在这里插入图片描述
在这里插入图片描述这里就会对uv__fs_done进行调用了.而uv__fs_done又会调用JS的回调函数.至此流程结束,全是代码不太好看.

Node.js异步编程
fcc627的博客
07-24 363
其中，resolve和reject是函数带的两个参数，其本质也是函数，在执行成功时，会在promise.then函数里接收resolve的返回值作为参数，失败则在.catch函数里接收reject的返回值作为参数。异步函数是异步编程语法的终极解决方案，它可以让我们将异步代码写成同步的形式，让代码不再有回调函数嵌套，使代码变得清晰明了。同步API会阻塞后面代码的执行，需要从上往下依次执行，异步API不会阻塞后面代码的执行。函数队列，等待所有同步代码完成后，再回调异步代码执行。...
libuv文件系统接口：uv_fs_read/uv_fs_write
huangenwen的博客
11-17 1797
说明 刚开始接触libuv，在网上找了很多资料，主要参考以下网址： 中文网教程参考地址：https://www.codercto.com/a/97428.html，https://github.com/stidio/Chinese-uvbook?hmsr=codercto.com&utm_medium=codercto.com&utm_source=codercto.com libuv 英文官网参考地址：http://docs.libuv.org/en/v1.x/index.html
nodeJS异步操作
Bidding
03-28 324
nodeJS异步操作 1、promise const fs = require("fs") // 创建promise，使用链式调用解决回调函数的回调地狱问题 let delFilePromise = () => { return new Promise((resolve, reject) => { fs.unlink("./test/test.js", (er...
Nodejs-异步操作
weixin_30877755的博客
08-19 190
1.阻塞 console.time('main');//代码计时器 //不断循环阻塞了代码的执行 for(var i=0;i<10000000;i++){ } console.timeEnd('main'); console.log("完成执行了"); 2.错误优先的回调函数（针对异步操作） 　　　异步回调函数的设计 　　　　（1）回调函数一定作为最后一个参...
NodeJS异步、同步 创建多层文件夹
weixin_33895604的博客
02-20 236
同步： //创建多层文件夹 同步 function mkdirsSync(dirpath, mode) { if (!fs.existsSync(dirpath)) { var pathtmp; dirpath.split(path.sep).forEach(function(dirname) { if (patht...
nodejs：异步操作和异常处理上机实验
零小唬的博客
03-30 419
nodejs：异步操作和异常处理上机实验
Nodejs让异步变成同步的方法
10-17
异步操作可以避免程序在等待某些长时间操作完成时（比如数据库操作、文件操作或者网络请求）停止执行，从而提高程序的效率。但是，过多的嵌套回调函数（回调地狱）会使得代码难以阅读和维护。 Node.js提供了一些...
深入浅析NodeJs并发异步的回调处理
10-23
例如，在读取多个文件时，可以使用“pending”方法封装起来，循环发起异步读取请求，一旦所有异步操作完成，就可以执行最终的回调，输出所有文件的内容。此外，这种模式还可以与其他模式相结合，比如Promise链式调用...
Nodejs异步回调的优雅处理方法
01-02
在Nodejs中大部分的I/O操作几乎都是异步的，也就是我们处理I/O的操作结果基本上都需要在回调函数中处理，比如下面的这个读取文件内容的函数： 代码如下: fs.readFile(‘/etc/passwd’, function (err, data&#41...
nodeJS的异步操作
alanbiz1314的博客
06-14 164
nodejs的异步操作 - 非I/O 　　- 定时器（setTimeout，setInterval） 　　- microtask（promise） 　　- process.nextTick 　　- setImmedlate 　　- DNS.lookup - I/O 　　- 网络I/O 　　- 文件I/O 　　- DNS操作 转载于:https://www.cnblo...
nodejs multer实现文件上传与下载
10-19
主要为大家详细介绍了nodejs multer实现文件上传与下载的相关资料，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
Node.js-异步读取
zhaojianhua1997的博客
04-13 384
读取后缀名文件 异步读取 使用es6 异步编程处理 fs.readFile('ExtName/name.json', (err, jsondata) => { if (err) { throw err; } console.log(jsondata); }); let ext = JSON.parse(fs.readFileSync('ExtN...
Node.js学习-----------异步文件读取
南的专栏
06-28 1960
Node.js中最大的特点就是异步式I/O与事件紧密结合的编程模式。控制流程要通过事件和回调函数来组织，一个逻辑要拆分成若干个单元。 下面来看个Node.js中异步的方式读取一个文件： var fs = require('fs'); fs.readFile('file.txt' , 'utf-8' , function (err , data) { if (err) {
node.js异步编程
weixin_58732695的博客
07-22 960
如果异步API后面的代码执行依赖当前异步API的执行结果，需要把代码写在回调函数中，一旦回调函数前台层次过多，会导致代码不宜维护，称为回调地狱。promise本身是一个回调函数，如果要使用promise解决回调地狱问题，需要使用new关键字创建promise构造函数的实例对象。做法使用fs.readFile()方法读取A文件，在读取A文件的回调函数中读取B文件，在B文件的回调函数中读取C文件。在函数定义放在函数的前面，标识该函数是一个异步调用函数，返回值是一个promise对象。......
NodeJS 异步操作：摆脱‘Callback hell’初谈
wangjunzhi93的博客
05-08 624
众所周知，NodeJS具有的单线程，事件驱动，异步非阻塞IO模型，使得其在IO密集型程序，尤其是大型的Web服务中占有很大的优势。下面就来谈谈几种NodeJS异步回调的实现。 最常规的一种是：import fs from 'fs'; fs.readFile(__dirname + '/a.txt', 'utf-8', (err, data) => { if(!err){ c
Node.js中如何处理异步编程
有我更精彩的博客
02-22 1206
在Node.js中，处理异步编程是至关重要的技能。由于Node.js的单线程执行模型，异步编程可以极大地提高程序的性能和响应速度
如何管理Node.js中的异步操作？
有我更精彩的博客
06-22 685
在现代JavaScript编程中，异步操作是非常常见且必要的，尤其是在Node.js中。Node.js由于其单线程、非阻塞I/O模型，使得异步编程成为其核心部分。那么，如何有效地管理Node.js中的异步操作呢？本文将详细探讨这一主题，提供示例代码，帮助你更好地理解和掌握Node.js中的异步管理。
nodejs（4）如何异步处理文件
不想内卷的博客
09-25 226
异步编程,就是另外开一条线来读取数据,由于不同线程之间数据是不能直接通信的,所以我们需要特别的方法来读取异步的数据 获取异步里面的数据 方法1：es6没出来之前,采用回调函数执行 function getdata(callbck){ setTimeout(function(){ var name="战争" callbck(name) },1000) } //传入一个函数来读取数据 getdata(function(aaa){ console.log(aaa) })
Node js 四种异步处理方法
qq_42455145的博客
04-15 1297
//node.js里面的非阻塞IO 和阻塞IO //异步处理 //事件驱动 //其他的后端语言会使用多线程进行多线程处理 //nodejs 是单线程，优势是非阻塞io 一个服务员同时满足多个客户的需求 //一个简单的例子 //多个文件读取 //异步处理 //1 使用回调函数处理 let http = require('http'); let fs = require('fs'); let ev...
nodejs文件系统操作的所有概念
最新发布
10-24
<think>首先，用户查询是：“我想查找nodejs文件系统操作的所有概念 请问nodejs文件系统操作的所有概念”。这是基于之前的系统指令和引用的内容。 系统指令要求： - 所有行内数学表达式使用 $...$ 格式。 - 独立公式使用 $$...$$ 格式并单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 回答中引用的段落末尾自然地添加引用标识，例如 [^1]。 - 回答结构清晰，帮助用户逐步解决问题，尽量保证回答真实可靠。 用户提供了三个引用： - 引用[1]：关于Node.js文件系统模块的介绍。 - 引用[2]：Node.js基本概念。 - 引用[3]：Node.js中父子进程对本地文件同时操作的BUG。 用户的问题是查找Node.js文件系统操作的所有概念。我需要基于这些引用构建一个全面的回答。引用[1]直接相关文件系统操作，引用[2]提供背景，引用[3]讨论一个特定问题。 关键点： - Node.js文件系统操作涉及读取、写入、更新和删除文件。 - 核心模块是 `fs`（文件系统）模块。 - 引用[3]提到 `pipe`、`end` 和 `close` 事件，这些是流相关的概念。 我应该覆盖的主要概念： 1. Node.js文件系统模块 (`fs`) 2. 基本操作：读取、写入、追加、删除文件 3. 同步和异步操作 4. 流操作（Stream API） 5. 文件描述符和事件（如 `end` 和 `close`） 6. 常见问题和最佳实践，如并发处理（基于引用[3]） 结构清晰的回答： - 概述Node.js文件系统操作。 - 逐步介绍核心概念。 - 提供示例代码（如引用中的）。 - 结束时生成相关问题。 引用标识：在回答中引用段落末尾添加 [^1], [^2], [^3]。 生成相关问题： - 在回答末尾添加 §§相关问题§§ 部分。 完整回答结构： 1. **介绍**：简述Node.js文件系统操作的背景。 2. **核心概念**：分点或分段解释所有关键概念。 3. **示例**：提供代码示例。 4. **注意事项**：基于引用[3]讨论潜在问题。 5. **相关问题**：生成相关问题列表。 确保使用中文回答。 大纲： - **引言**：Node.js作为服务器端JavaScript环境，其文件系统模块使文件操作简便高效 [^1]。 - **文件系统模块介绍**：描述 `fs` 模块。 - **基本操作概念**： - 读取文件（同步/异步） - 写入文件（同步/异步） - 追加文件 - 删除文件 - **流操作**：解释流（Stream）的概念， pipe, end, close 事件。 - 基于引用[3]，强调 `end` 和 `close` 的区别：`end` 表示数据源耗尽，而 `close` 表示文件真正完成写入 [^3]。 - **事件驱动模型**：Node.js的非阻塞I/O模型。 - **安全性和最佳实践**：如错误处理。 - **示例代码**：展示简单操作。 - **总结**。 - **相关问题**。 生成相关问题： 1. Node.js 文件系统操作的异步和同步方法有什么区别? 2. 如何处理 Node.js 中文件操作的并发问题? 3. Node.js 的文件流操作有哪些应用场景? 代码示例：从引用中提取或简化。例如，读取文件： ```javascript const fs = require('fs'); fs.readFile('file.txt', 'utf8', (err, data) => { if (err) throw err; console.log(data); }); ``` 确保回答真实可靠：基于标准Node.js知识和引用内容。 </think>### Node.js 文件系统操作的核心概念详解 Node.js 文件系统操作基于其内置的 `fs` 模块实现，利用异步非阻塞 I/O 模型，高效处理文件读写、更新和删除等任务。文件操作是 Node.js 的核心功能之一，特别适用于高并发场景（如实时应用或服务器端数据处理）[^2]。以下是所有关键概念的逐步解析，涵盖基础到高级主题。我会结合示例代码和注意事项，帮助您全面掌握。 --- #### 1. **文件系统模块 (`fs`)** - **概念**：`fs` 模块是 Node.js 的核心模块，提供同步和异步 API 来处理文件操作。它支持所有常见文件系统交互功能（如读取、写入）。 - **引入方式**：使用 `require('fs')` 加载模块。 - **特点**：默认采用异步非阻塞模式，避免阻塞主线程；但也提供同步方法（后缀 `Sync`）。 - **示例代码**（异步读取文件）： ```javascript const fs = require('fs'); fs.readFile('example.txt', 'utf8', (err, data) => { if (err) throw err; console.log(data); // 输出文件内容 }); ``` - **引用说明**：Node.js 的文件系统模块简化了文件操作，使其高效且易于集成到服务器端应用 [^1]。 --- #### 2. **基本文件操作概念** - **读取文件**： - **概念**：从文件中获取内容。异步方法使用回调或 Promise（通过 `fs.promises`），同步方法直接返回结果。 - **API**：`fs.readFile()`（异步），`fs.readFileSync()`（同步）。 - **示例**（Promise 方式）： ```javascript const fs = require('fs').promises; fs.readFile('example.txt', 'utf8') .then(data => console.log(data)) .catch(err => console.error(err)); ``` - **写入文件**： - **概念**：创建新文件或覆盖现有文件内容。默认模式为替换（`'w'`），可选追加模式（`'a'`）。 - **API**：`fs.writeFile()`, `fs.writeFileSync()`。 - **示例**（追加内容）： ```javascript fs.writeFile('log.txt', 'New log entry\n', { flag: 'a' }, err => { if (err) throw err; console.log('Content appended'); }); ``` - **更新文件**： - **概念**：通过写入或修改文件部分内容实现更新。常用方法包括重写整个文件或使用 `fs.appendFile()` 追加。 - **API**：`fs.appendFile()`（追加），`fs.writeFile()`（覆盖）。 - **删除文件**： - **概念**：永久移除文件系统上的文件。 - **API**：`fs.unlink()`, `fs.unlinkSync()`。 - **示例**： ```javascript fs.unlink('temp.txt', err => { if (err) console.error('Delete failed:', err); else console.log('File deleted'); }); ``` - **引用说明**：这些基本操作是文件处理的核心，Node.js 的异步模型优化了 I/O 性能，适合高并发场景 [^1][^2]。 --- #### 3. **流操作（Stream API）** - **概念**：流允许分块处理大文件，减少内存占用。关键对象包括可读流（`ReadableStream`）和可写流（`WritableStream`）。事件如 `data`、`end` 和 `close` 用于控制流程。 - **核心事件**： - `'data'`：当数据块可用时触发。 - `'end'`：表示数据源已耗尽（例如，文件写入完成），但文件可能未完全关闭。 - `'close'`：表示文件描述符已关闭，文件操作真正完成。 - **重要区别**：`end` 事件只表示数据写完，而 `close` 事件表示文件元数据（如大小、权限）已更新完成。在父子进程操作中，忽略此区别可能导致数据丢失（如 `end` 时读取文件比 `close` 时少内容）[^3]。 - **API**：`fs.createReadStream()`, `fs.createWriteStream()`。 - **示例**（使用管道 `pipe` 传输数据）： ```javascript const fs = require('fs'); const readStream = fs.createReadStream('input.txt'); const writeStream = fs.createWriteStream('output.txt'); readStream.pipe(writeStream); writeStream.on('close', () => { console.log('File fully written and closed'); // 仅在文件完全关闭后执行 }); ``` --- #### 4. **文件描述符与事件模型** - **文件描述符**： - **概念**：唯一标识打开文件的整数句柄。通过 `fs.open()` 获取，用于精细化操作。 - **用途**：支持随机读写（如 `fs.read()`、`fs.write()`）。 - **示例**： ```javascript fs.open('file.txt', 'r', (err, fd) => { if (err) throw err; const buffer = Buffer.alloc(1024); fs.read(fd, buffer, 0, buffer.length, 0, (err, bytesRead) => { console.log(buffer.toString('utf8', 0, bytesRead)); fs.close(fd, () => console.log('File closed')); }); }); ``` - **事件驱动模型**： - **概念**：Node.js 的非阻塞 I/O 基于事件循环，文件操作通过回调或事件监听异步完成。这避免了线程阻塞，提升并发能力。 - **优势**：适合实时应用（如日志处理），但需注意并发问题（如多个进程同时操作文件）。 - **引用说明**：父子进程并发操作时，`close` 事件确保文件完整性，避免 `end` 事件的过早触发导致数据不一致 [^3]。 --- #### 5. **高级概念与最佳实践** - **并发操作**： - **概念**：多进程/线程操作同一文件可能导致冲突。解决方案包括文件锁（`fs-ext` 模块）或使用原子操作。 - **问题示例**：如引用[3]所述，父子进程同时操作文件时，依赖 `end` 而非 `close` 可能导致数据截断。 - **错误处理**： - **概念**：所有异步操作需处理 `err` 参数。推荐使用 Promise 或 `async/await` 提升可读性。 - **示例**： ```javascript async function safeWrite() { try { await fs.promises.writeFile('data.json', JSON.stringify({ key: 'value' })); } catch (err) { console.error('Write error:', err); } } ``` - **性能优化**： - 使用流处理大文件（避免内存溢出）。 - 启用 `fs.writeFile()` 的 `flag` 选项（如 `'wx'`）防止并发写入冲突。 - **引用说明**：Node.js 的高效 I/O 源自其事件驱动架构，但开发者需理解底层细节以避免常见陷阱 [^1][^3]。 --- #### 总结 Node.js 文件系统操作涵盖模块引入、基本操作方法、流处理、文件描述符管理及并发控制。掌握这些概念后，您可以高效处理文件读写任务，适用于 Web 服务器、日志系统等场景。实际开发中，优先使用异步流操作以发挥 Node.js 的非阻塞优势，同时注意 `end` 和 `close` 事件的差异确保数据完整性 [^1][^3]。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

bruk_spp

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值