一个C/C++协程库的思考与实现之协程的errno与信号处理

原创 已于 2024-05-14 18:17:36 修改 · 399 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#c++ #协程 #errno

于 2020-08-24 21:49:37 首次发布
XCoroutine是一个基于epoll的高性能C/C++协程库，通过HOOK阻塞系统调用，支持协程间同步事件及定时事件驱动调度，实现协程的高速切换与动态负载均衡。该库提供了丰富的同步协作工具，如mutex、sem等，并实现了协程的信号处理机制。

GitHub - DoasIsay/XCoroutine: 一个使用C/C++基于epoll实现的高性能的stackfull协程库，通过HOOK阻塞的系统调用，网络IO事件，协程间的同步事件及定时事件驱动协程的调度，通过汇编完成协程的高速切换，支持海量协程创建，支持协程的动态跨线程负载均衡调度，优先级调度，支持协程的栈上溢出检测及协程的signal信号处理机制，提供不同线程间协程同步协作的互斥量mutex，读写锁，条件变量cond，信号量sem，countDownLatch及用于数据共享的channel等等，总之很好玩，，，

每个线程都有自己的errno，那么协程是否也需要自已的errno？

如果这样写代码，那每个协程要有自已的errno

在hook的系统调用中当io读写不能满足时，就进行协程切换，在io可读写返回到用户代码后继续使用errno，此时的errno可能已经不是协程切换前的errno了，因为期间其它协程也会call系统调用，所以因在hook系统调用的代码中，在协程切换前先保存errno的值，因为协程恢复后会先判断errno，根据errno的值选择是继续读写还是出错返回

但如果在hook的系统调用中一直读写，只有读写到数据或出错才返回，那么协程就不需要自己的errno了，这样写代码，虽然用户用的是非阻塞的系统调用，但在hook的代码中我们还是把它实现成阻塞的，这个阻塞是对协程而言的，一个线程被IO阻塞就会被os调度切换，同样的一个协程被IO阻塞，也会被协程的调度器调度切换，我们要把被hook的阻塞的系统调用仍实现为对协程而言是阻塞的，让用户无法感知到他使用的是非阻塞的接口，让用户可以写同步的代码

但是这样就无法在协程库中检测到协程的退出条件，而提前返回，因此要想办法把协程的退出从用户代码传递到协程库的代码中，也就是hook的系统调用中，请不要使用全局变量isExit这种简单粗爆的方法，我们要尽量实现的优雅一些，这时我终于找到了让协程支持信号处理的理由

实现了协程库后，我第一个为协程实现的feature就是信号处理，为协程实现信号处理的第一个原因就是，当时的协程并不能优雅的退出，我想依靠发送信号来通知协程退出，后来我找到了另一种解决协程退出的问题方法

但现在我觉得把hook的系统调用仍实现为对协程而言是阻塞的是一种不错的想法，但是又不能在协程库中使用用户代码中的isExit变量来检测退出，那只能用信号了，当协程收到信号无论IO是否满足还是在等待一个超时，都会返回被信号中断的错误，在hook的系统调用中检测到错误后以出错返回，于是我们去除了协程的errno也用上了协程的信号处理机制

新的问题又出现了，如果协程关联的fd没有IO事件，协程是不会被调度的，因此协程还是无法返回，仍然是被IO阻塞着，对于这样简单的问题同样要用简单的方法解决，把收到信号的协程放入到runQueue

从零开始构建高性能C++协程库原理与实现
ricky675的博客
10-13 768
我们首先定义一个模板类Task<T>，它既是协程的返回对象，也是一个Awaiter。template<typename T>class Task {public: // 承诺类型定义，编译器通过它来定制协程 struct promise_type { // 协程的返回对象就是Task本身 Task get_return_object() { return Task{std::coroutine_handle ::from_promise(this)};
C++ 协程的近况、设计与实现中的细节和决策
Linuxhus的博客
05-27 559
时至2018年的今天，C++ 在互联网服务端开发方向依然占据着相当大的份额；百度，腾讯，甚至以java为主流开发语言的阿里都在大规模使用C++做互联网服务端开发，而这恰恰是本文想要讨论的范畴。 C++协程实现及原理分析视频讲解： C/C++ Linux服务器开发高级架构学习视频点击：C/C++Linux服务器开发高级架构/Linux后台架构师-学习视频 协程的实现与原理剖析丨掌握协程的运用丨实例讲解（上） 协程的实现与原理剖析丨掌握协程的运用丨实例讲解（下） 第1章 C++协程近况简介 协程分
可持续的：C ++ 14异步分配感知的未来（然后支持异常处理，协程和连接）
02-24
Continuable是一个C ++ 14库，它为以下各项提供完全支持： 基于回调（然后）和表达式模板的惰性异步继续链接，回调被很好地包装为promises 。 无需强制类型擦除，这意味着我们严格按照“不为不使用的内容付费”的原则，比同类库需要更少的堆分配。 通过表达性运算符重载&& ， ||支持可持续性之间的所有，任何和顺序连接和>>以及免费函数when_all ， when_any和when_seq 。 通过异常，错误代码和用户定义类型进行异步错误处理。 例如语法糖：部分调用，元组拆包， co_await支持和执行程序。 不受任何运行时，大型框架或执行程序的限制，即使在较小或深奥的使用场景中，也可以使用连续性。 入门： 该提供了您需要的一切： 问题和贡献 问题报告和问题可以通过Github问题跟踪器以及请求请求接受。 欢迎任何贡献！ 如果您需要改进实施方面的支持或使用库时
第十章：使用进程、线程和协程提供并发性-signal:异步系统事件-发送信号（闹铃）
编程菜鸟iglesias的博客
04-24 197
10.2.3 发送信号 在Python中发送信号的函数是os.kill()。其方法在有关os模块的17.3.10中介绍。 10.2.4 闹铃 闹铃(alarm)是一种特殊的信号，程序要求操作系统在过去一段时间之后再发出这个信号通知。os的标准模块文档指出，这种方法对于避免一个I/O操作或其他系统调用上的无限 阻塞很有用。 import signal import time def receive...
[网络编程]微信协程库libco研究：hook系统函数
梦回南柯的博客
05-06 967
转载自：https://segmentfault.com/a/1190000012561446 最近花了一些时间研究微信的协程库libco，libco是微信后台大规模使用的c/c++协程库。库里面提供了socket族函数的hook，使得后台逻辑服务几乎不用修改逻辑代码就可以完成异步化改造，号称单机可以达到千万连接。有关libco库的具体实现原理后续有时间再讨论，本文先讨论微信团队实现对socket族函
C语言---协程介绍
wcc15256945095的博客
03-07 6069
协程概念的介绍，以及两个简单的协程使用示例说明
GNU C库函数参考手册（2）
蓝色妖姬
11-15 555
逍遥飞狐多媒体作坊 译 上一页下一页 错误报告 许多GNU C库中的函数都监测和报告错误的情况，而且有时候你的程序需要检查它们以得到错误的情形。比如说：你打开了一个输入文件，你必须检查这个文件是否正确的打开了，而且在你调用一个库函数出错的时候打印出错信息或采取其他的措施。 这一章描述错误报告功能是怎么工作的。要使用这个功能的话，你的程序必须包含头文件“errno.h”。 错...
C++协程入门
HerosOfEarth的博客
05-08 1837
#ifndef _COROUTINE_H__ #define _COROUTINE_H__ #include <memory> #include <functional> #include <ucontext.h> class Coroutine : public std::enable_shared_from_this<Coroutine> { ...
【C++】什么是协程？深入理解协程的实现原理与应用
2401_86353562的博客
03-06 1117
一个进程就是一个程序的运行实例。它有自己的地址空间，除了通过共享内存，不与其他进程共享。线程存在于进程中，它们不能脱离进程存在，尽管在Linux中，进程和线程都被视为任务。它们以相同的方式被调度，并且在内核级别有相同的控制结构。尽管如此，线程被认为是轻量级的，因为程序的初始负载的较大开销由父进程承担。但这并不是完整的情况。还有纤程和协程。如果说进程和线程是真正的并发并且在共享资源上并行工作，纤程就像线程，但不符合并发。虽然线程通常依赖于任务调度器的抢占式时间分片，纤程使用协作式多任务处理。
七大进程间通信和线程同步
weixin_30449453的博客
07-03 307
一、进程间的七大通信方式 signal、file、pipe、shm、sem、msg、socket 1，signal 信号通信的目的：某某事件发生！此时需要处理什么，进程间(可以是不相关的进程)传递信号 场景：信号又被称之为中断，需要处理什么对应的是中断处理函数，此时设置断点，形参入栈，保存现场信息，然后去执行中断处理函数，当处理完成之后，恢复现场信息，程序继续往下执行 Linux下可以通...
linux：errno与signum：错误码与信号
RToax
05-17 1270
Table of Contents 先看下cygwin的“sys/errno.h”文件 再看一下，signum对应的数值 先看下cygwin的“sys/errno.h”文件 /* errno is not a global variable, because that would make using it non-reentrant. Instead, its address is returned by the function __errno. */ #ifndef _SY
魅族C++协程框架(Kiev)技术内幕
热门推荐
tech_meizu的博客
05-24 2万+
kiev是魅族科技推送平台目前使用的Linux-C++后台开发框架。从2012年立项起，先后由多位魅族资深架构师、资深C++工程师倾力打造，到本文写就的时间为止，已经在推送平台这个千万用户级的大型分布式系统上经历了近5年的考验。
errno详解
tissar的博客
02-27 7450
errno 详解作用相关函数多线程 作用 errno 是 error number 的缩写，意味系统调用错误码。 如果系统调用返回成功，errno 有可能但不一定会置0；而系统调用出错时，errno 必定会被设为对应的错误编号。因此，强迫症患者可以在调用系统调用之前，手动将 errno 置0。不过，如果系统调用返回成功，谁会闲着没事去看 errno 呢？ 相关函数 一般来说，我们是不是需要了解每个...
linux错误信号,linux：errno与signum：错误码与信号
weixin_36040020的博客
05-12 416
/* errno is not a global variable, because that would make using itnon-reentrant. Instead, its address is returned by the function__errno. */#ifndef _SYS_ERRNO_H_#ifdef __cplusplusextern "C" {#endif...
[C++] C++20协程的几个特性补充
airaou
04-28 1123
[C++] C++20协程的几个特性补充 0. 前言   上文 [C++] C++20协程例子之惰性计算(附时序图) 已大概描述了一个协程的整个工作流程.   本文按阶段简述各个阶段中的一些细节. 1. 协程初始化 ...
协程中调用阻塞函数
weixin_42694291的博客
11-07 1516
from concurrent.futures import ThreadPoolExecutor from tornado import gen threadpool = ThreadPoolExecutor(2) def mySleep(count): import time for i in range(count): print(i) time.s...
系统调用的实现(与errno的设置)
weixin_33946020的博客
04-18 1173
之前分析errno的实现时有讲过系统调用的实现, 但是写到一半烂尾了, 于是决定重新挖个坑(- -!). 假设我们调用了一个open(), 从pc指向open()入口到pc执行open()的后一条指令中间究竟发生了什么. 首先明确第一点, 当我们调用open()时并不是直接调用系统调用open, 而是调用glibc的封装函数open(). 让我们从头开始一步一步分析.让我们来看下open(...
errno错误值
Turbyun的博客
04-10 726
EINTR : 被信号中断的慢速系统调用，当捕捉到信号且相应信号处理函数返回时 ECONNABORTED：由于客户端在服务accept前发送了RST复位信号，客户端可由SO_LINGER控制(UNPV16.21图)，实际在较忙的web服务器会出现 unpv 5.11节 EPROTO：流子系统发生某些致命的协议相关事件，会返回此错误 unpv 5.11节 以下在设置 非阻塞accep...
如何将原生epoll与协程库项目联系起来
最新发布
09-04
<think> 嗯，用户想了解如何将原生epoll与协程库项目关联起来。从用户提供的引用资料来看，这个问题涉及操作系统底层的I/O多路复用机制和用户态协程调度的结合，属于高性能网络编程的核心内容。 用户可能正在开发或学习类似boost.asio这样的网络库，需要理解底层epoll如何驱动上层协程调度。引用[3]提到go语言通过epoll_wait唤醒goroutine，这正是典型的epoll与协程结合的案例。 从技术实现层面看，关键点在于事件循环与协程调度器的交互。引用[4]指出要避免线程高频创建和阻塞，这正是epoll+协程方案的优势所在。我需要重点说明： 第一是事件循环如何将epoll事件映射到挂起的协程，这需要维护fd与协程的映射关系 第二是协程挂起/恢复的时机，当异步I/O未完成时应立即挂起当前协程 第三要解释用户态上下文切换如何避免系统调用开销 用户似乎更关注实践层面的关联方法而非理论，所以应当给出具体实现模式。引用[2]提到的C++17协程模拟很有参考价值，虽然C++20才有原生协程，但原理相通。 需要特别注意用户要求的中文回答和LaTeX格式。对于涉及操作系统调用的名词如epoll_wait要保持原生拼写，技术术语如"上下文切换"需要用$...$标注。独立的技术实现图示需要用$$...$$格式。 用户的问题质量很高，说明ta应该是有一定网络编程基础的开发者。可能正在实现自己的协程库或调试异步框架，所以回复需要提供可落地的技术方案而非概念阐述。考虑到引用[1]提到boost.asio的抽象层设计，可以强调这种封装的思想价值。 </think> 将原生 epoll 与协程库项目关联的核心在于利用 epoll 的事件通知机制驱动协程调度，实现高效的异步 I/O 操作。具体关联方法如下： --- ### **1. 事件循环与协程调度器整合** - **epoll 作为底层驱动** 创建 epoll 实例（`epoll_create1`），监听文件描述符（fd）的 I/O 事件（读/写/错误）。当 fd 就绪时，epoll 通过 `epoll_wait` 返回就绪事件列表。 - **协程挂起与恢复** 当协程发起异步 I/O 请求（如 `co_read`）时： - 立即挂起当前协程，将其状态保存到调度器。 - 将关联的 fd 注册到 epoll（`EPOLL_CTL_ADD/EPOLL_CTL_MOD`），并绑定回调函数（指向该协程的恢复入口）。 - **事件触发协程唤醒** `epoll_wait` 检测到就绪事件后，调度器根据 fd 找到挂起的协程，将其加入就绪队列等待执行。 ```c // 伪代码：事件循环 while (true) { int nready = epoll_wait(epfd, events, MAX_EVENTS, timeout); for (int i = 0; i < nready; i++) { coroutine_t *co = find_coroutine_by_fd(events[i].data.fd); // 通过fd查找协程 schedule_resume(co); // 恢复协程执行 } } ``` --- ### **2. 协程的 I/O 操作封装** - **非阻塞 fd 绑定** 所有 fd 必须设为非阻塞模式（`O_NONBLOCK`），确保 I/O 未就绪时立即返回 `EAGAIN` 错误，避免阻塞线程。 - **异步操作语义转换** 封装 `read/write` 等系统调用为协程接口： ```c ssize_t co_read(int fd, void *buf, size_t count) { ssize_t n = read(fd, buf, count); if (n >= 0) return n; // 成功则返回 if (errno == EAGAIN) { // 数据未就绪 register_to_epoll(fd, EPOLLIN); // 注册读事件监听 coroutine_yield(); // 主动挂起协程 return co_read(fd, buf, count); // 恢复后重试 } return -1; // 错误处理 } ``` --- ### **3. 资源与状态管理** - **fd-协程映射表** 维护哈希表或红黑树，建立 fd 到挂起协程的映射，确保事件触发时快速定位。 - **协程栈与上下文切换** 使用 `ucontext` 或汇编实现协程上下文切换（`swapcontext`），保存寄存器状态。协程挂起时保存栈空间，恢复时切换栈指针。 - **超时与错误处理** 通过 `epoll_wait` 的 `timeout` 参数实现定时器，检查协程等待超时；异常事件（如 `EPOLLERR`）需唤醒协程并传递错误码。 --- ### **4. 线程模型优化** - **单线程事件循环** 单个线程运行 epoll 事件循环 + 协程调度，避免锁竞争（参考 Go 的 netpoll[^3]）。 - **多线程扩展** 多个线程各自运行独立的事件循环（每个线程一个 epoll 实例），或共享 epoll 实例（需加锁），结合工作窃取（work-stealing）均衡负载。 --- ### **关联优势** 1. **高性能** epoll 在 $O(1)$ 时间内处理海量 fd 事件，协程轻量级切换（$ns$ 级）避免线程切换开销（$μs$ 级）。 2. **低资源占用** 单线程可处理数万连接，协程栈通常 $KB$ 级，远小于线程 $MB$ 级栈[^4]。 3. **编程简洁** 协程以同步代码风格编写异步逻辑，避免回调地狱（Callback Hell）[^4]。 --- ### **典型应用案例** - **Go 语言 netpoll** 运行时通过 epoll 监听 fd，就绪事件唤醒阻塞的 goroutine[^3]。 - **Boost.Asio** Linux 后端使用 epoll 实现 Proactor 模式，驱动 C++ 协程（如 `awaitable`）[^1]。 - **Nginx 协程化** 修改事件模块，将连接处理转换为协程调度。 --- ### **挑战与解决** | **挑战** | **解决方案** | |-------------------------|----------------------------------| | 协程栈内存管理 | 分段栈（Split Stack）或复制栈 | | 系统调用阻塞线程 | 用线程池处理阻塞操作 | | 跨平台兼容性 | 抽象层封装（如 Asio 的 `io_context`）| --- **相关问题** 1. epoll 的边缘触发（ET）模式如何影响协程调度？ 2. 协程库如何结合定时器实现超时控制？ 3. 在多核 CPU 下，如何优化 epoll 与协程的绑定关系？ 4. 对比 epoll 驱动的协程与 Windows IOCP 的异步模型差异[^1]。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值