彻底了解C++异步从理论到实践

每秒百万级高效C++异步日志实践 每秒百万级高效C++异步日志实践 RING LOG是一个适用于C++的异步日志, 其特点是效率高(实测每秒支持125+万日志写入)、易拓展,尤其适用于频繁写日志的场景 阅读详情

1. 纠结的开篇

之前设计我们游戏用的c++框架的时候, 刚好c++20的coroutine已经发布, 又因为是专门 给game server用的c++ framework, 对多线程的诉求相对有限, 或者本着少并发少奇怪的错误的原则, 除网络和IO和日志等少量模块外, 大部分模块主要还是工作在主线程上的, 所以当时设计的重点也就放在了c++20 coroutine的包装和使用上, 更多的使用coroutine来完善异步的支持. 但如果考虑到framework作为前后端公用框架的话, 原来主要针对主线程使用的包装的coroutine调度器就显得有些不够用, 以此作为基础, 我们开始了尝试结合比较新的c++异步思路, 来重新思考应该如何实现一个尽量利用c++新特性, 业务层简单易用的异步框架了.

本系列的主要内容也是围绕这条主线来铺开, 过程中我们 主要以:

  1. 自有的framework异步实现 - 主要落地尝试利用c++20的coroutine实现一个业务级的调度器.

  2. asio - 这个应该不用多说了, 近年来一直高频迭代, 业界广泛使用的开源第三方库, 中间的异步任务调度, 网络部分的代码实现都非常优质.

  3. libunifex - 最接近当前sender/receiver版 execution提案的可实操版本, c++17/20兼容, 但不推荐使用c++17的版本进行任何尝试, 原因后续文件会展开. 这几个库作为基础, 逐步展开我们对c++异步的探索, 然后再回到落地实践这条主线上, 探讨一个业务侧使用简单, 内部高效的异步库应该如何来实现并落地. 当然, 我们的侧重点主要还是c++异步的调度和处理上, 网络相关的有部分内容可能会简单提到, 但不会进行深入的展开.   其实整个尝试的过程只能说非常不顺利了, 当然, 随着对相关实现的深入理解和细节的深挖, 收益也是颇多的. 闲话不多说了, 我们直接切入主题, 以对异步的思考来展开这篇总览的内容.

2. 前尘往事 - rstudio framework实现

rstudio framework的异步框架由两块比较独立的部分组成:

  1. 一部分是源自asio几年前版本的post和strand部分实现, 另外附加了一些业务侧较常用的像Fence等对象;

  2. 另外一部分是主线程的协程调度器实现, 这部分最早是基于c++17实现的一版stackless 协程; 另外一版则是gcc11.1正式发布后, 直接用c++20重构了整个实现, 直接使用c++20的coroutine的一个版本.

2.1 asio 部分

  这一部分的内容因为后续有asio scheduler实现具体的分析篇章, 这个地方主要以业务侧使用进行展开了.

2.1.1 executor概述

  • 来源于1.6X boost同期的asio standalone版本

  • 去除了各平台网络处理相关的代码

  • 仅保留了post和相关的功能(新版本有executor实现)

  • 早期c++11兼容, 无coroutine支持

  • 除网络库外, asio非常有使用价值的一部分代码

2.1.2 一个简单的使用示例

  GJobSystem->Post([]() {
        //some calculate task here
        //...
        GJobSystem->Post(
            []() {
                //task notify code here
                //...
            },
            rstudio::JobSystemType::kLogicJob);
      }, rstudio::JobSystemType::kWorkJob);

相关的时序图:

2.1.3 当前框架使用的线程结构

​预定义的枚举值:

enum class JobSystemType : int {
  kLogicJob = 0,       // logic thread(main thread)
  kWorkJob,            // work thread
  kSlowJob,            // slow work thread(run io or other slow job)
  kNetworkJob,         // add a separate thread for network
  kNetworkConnectJob,  // extra connect thread for network
  kLogJob,             // log thread
  kNotifyExternalJob,  // use external process to report something, 1 thread only~~
  kTotalJobTypes,
};

不同Job说明:

  • kLogicJob

  • 主线程(逻辑线程)执行任务

  • kWorkJob

  • Work Thread线程池执行任务(多个), 一般是计算量可控的小任务

  • kSlowJob

  • IO专用线程池, IO相关的任务投递到本线程池

  • kNetworkJob

  • 目前tbuspp专用的处理线程

  • kNetworkConnectJob

  • 专用的网络连接线程, tbuspp模式下不需要

  • kLogJob

  • 日志专用线程, 目前日志模块是自己起的线程, 可以归并到此处管理

  • kNotifyExternalJob

  • 专用的通知线程, 如lua error的上报, 使用该类型

【文章福利】另外小编还整理了一些C++后台开发面试题,教学视频,后端学习路线图免费分享,需要的可以自行添加:

C++开发基础之异步编程模式 异步编程模式是现代C++开发中不可或缺的一部分。在处理IO密集型或者长时间运行的任务时,异步编程可以提高程序的响应性和吞吐量。1. 需要执行耗时的 I/O 操作:例如读取文件、数据库操作、网络请求等,这些操作通常需要花费较长时间。如果使用同步方法,程序将会被阻塞,无法响应其他操作。而使用异步编程模式,可以在这些操作执行过程中继续处理其他任务,从而提高程序的并发性能和响应能力。2. 需要执行计算密集型操作:虽然异步编程通常与 I/O 操作相关联,但它也可以用于执行计算密集型操作,例如图像处理、科学计算等。 阅读详情

相关推荐

C++——异步操作(std::future、std::async、std::packaged_task、std::promise)

文章目录一、std::future与std::async1.基本概念2.代码演示二、std::future与std::packaged_task1.基本知识2.代码演示三、std::future与std::promise1.基本知识2.代码演示 一、std::future与std::async 1.基本概念 (1)std::future的基本知识 std::future期待一个返回,从一个异步调用的角度来说,future更像是执行函数的返回值,C++标准库使用std::future为一次性事件建模,如果.

yi_chengyu的博客 4209

C++异步从理论到实践总览篇

来源于1.6X boost同期的asio standalone版本去除了各平台网络处理相关的代码仅保留了post和相关的功能(新版本有executor实现)早期c++11兼容, 无coroutine支持除网络库外, asio非常有使用价值的一部分代码。

yx5666的博客 1282

c++异步从理论到实践 -总览篇

来源于1.6X boost同期的asio standalone版本去除了各平台网络处理相关的代码仅保留了post和相关的功能(新版本有executor实现)早期c++11兼容, 无coroutine支持除网络库外, asio非常有使用价值的一部分代码。

j简说Linux的博客 394

C++异步future

C++11异步futrue。

欢迎来到阿熊的blog~~ 2124

C++11的异步操作让多线程开发变得简单

std::future :异步指向某个任务,然后通过future特性去获取任务函数的返回结果。std::aysnc :异步运行某个任务函数。std::promise :线程1设置了某个值,然后通知另外的线程,可以省去消息通信。std::packaged_task :将任务和feature绑定在一起的模板,是一种对任务的封装。future的表现为期望,当前线程持有future时,期望从future获取到想要的结果和返回,可以把future当做异步函数的返回值。

Lion_Long的博客 2339

C++异步HTTP下载技术实践

在当今这个互联网技术飞速发展的时代,网络编程成为了计算机专业人员必备的技能之一。C++网络编程,作为网络应用开发中的一种高效实现方式,吸引了众多IT从业者的关注。本章将从宏观角度概述C++网络编程的相关知识,包括网络编程的定义、特点以及在不同网络协议层中的应用。网络编程实际上涉及到不同网络层之间数据的发送、接收、封装和解析。C++作为一种性能优越、控制能力强的语言,在网络编程领域拥有广泛的应用。它不仅可以帮助开发者实现底层协议的封装,也能高效地处理大量并发的网络连接。

weixin_34547628的博客 840

避开STM32中断优先级配置的坑:HAL_NVIC_SetPriority()参数你真的用对了吗?

本文深入解析STM32中断优先级配置中的关键问题,重点剖析HAL_NVIC_SetPriority()函数的正确使用方法。通过实际案例揭示优先级分组设置、抢占优先级与子优先级的区别,提供多中断系统中的优化策略和调试技巧,帮助开发者避免常见配置错误,提升系统稳定性。

weixin_42532938的博客 425

汇川EASY系列之以太网通讯(MODBUS_TCP做从站)

汇川easy系列PLC做MODBUS_TCP从站,,ModbusTCP服务器默认开启,无需设置通信协议(即不需要配置),端口号为“502”。ModbusTCP从站最多支持31个ModbusTCP客户端(ModbusTCP主站)同时连接。

这是一个长期关注工控行业技术的博客,实现0-1的突破,期待您的关注和留言 8909

keil软件调试(Debug)仿真教程(软件调试和硬件调试的区别)及常用调试按键详解

单片机的调试分为两种,一种是使用软件模拟调试,第二种是硬件调试,两种调试方式各有不同,软件模拟调试有误差,而硬件调试,借用仿真器调试是嵌入式开发中常用方法。

weixin_51624736的博客 3万+

《机器学习》周志华_自学记录

第一章绪论## 1.1引言机器学习所研究的主要内容,是关于在计算机上从数据中产生"模型"(model)的算法,即"学习算法"(learning algorithm).在面对新的情况时(例如看到一个没剖开的西瓜),模型会给我们提供相应的判断(例如好瓜).如果说计算机科学是研究关于"算法"的学问,那么类似的,可以说机器学习是研究关于"学习算法"的学问.## 1.2基本术语:用于预测离散值,例如将样本分为“好瓜”或“坏瓜”。:用于预测连续值,例如西瓜的成熟度(如0.95、0.37)。

2201_75296678的博客 2534

电子货架标签应用浅析(ESL)

​【 关注与分享,是对原创最大的鼓励 】 年底了,会断续介绍几个主要的BLE的应用及市场情况,这篇文章介绍的是电子货架标签, ESL (Electronic Shelf Label)。 文章将从应用简介,市场规模,产业链,头部玩家及系统框架进行介绍。只对技术感兴趣的可以直接拉到底。 ESL简介 ESL,是一种显示产品,其主要是替代传统的纸质标签,应用于大型商超,...

iotthings的博客 4695

【测开求职】面试题:数据结构 吐血整理

本篇文章是笔者为准备研究生复试以及校招而写,因此主要针对问答,注重理解,而不在于细节计算。涵盖考研范围内的所有知识内容,读者可以先查看上面的链接走一遍数据结构的整体框架结构。其中,重点难点以及易混淆的知识点,笔者用其他近30篇文章进行了详述,在知识点处贴好了链接,有需要的可以查阅。

vector的博客 7067

1.2、基于卷积神经网络(CNN)的车牌自动识别系统(matlab)

基于卷积神经网络(CNN)的车牌自动识别系统(matlab)

XU157303764的博客 2912

Vue2+OpenLayers动态绘制两个经纬度并计算距离(提供Gitee源码)

动态绘制两个经纬度并计算它们之间的距离。

黄团团的个人博客 367

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

上一篇: 深入理解 Linux 的 TCP 三次握手
下一篇: 深入揭秘 epoll 是如何实现 IO 多路复用的
Linux服务器开发
博客等级 码龄7年 610粉丝 589原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值