Tokio 中 hang 死所有 worker 的方法

async-waitgroup:等待一系列异步任务完成 异步等待组 WaitGroup的异步实现。 WaitGroup等待一组任务完成。 主要任务可以创建新的工作程序,并将其传递给它要等待的每个任务。 然后,每个任务在done时都会调用完成。 主任务可以调用await来阻塞,直到所有其他任务都完成为止。 use async_waitgroup :: WaitGroup; #[tokio::main] async fn main () { let wg = WaitGroup :: new (); for _ in 0 .. 5 { // Create a new worker. let worker = wg. worker (); tokio :: spawn ( async { // Do some work... // This tas 立即下载

Tokio 的 task (一个 Future ) 里如果使用了阻塞调用,例如 std::sync::Mutex,会阻塞当前的 tokio-worker 线程,这个 worker 无法再执行其他 task。所以代码里如果不可避免的有(少量的)阻塞调用,就要为 runtime 启动更多的 worker 线程,保证存在没被阻塞的 worker 来执行待调度的 task,以避免整个 tokio runtime 完全 hang 住(有 task 但没 worker 运行它)。

但现实是,就算 worker 再多,tokio 也可能造成永久性的阻塞。

原因是 tokio 里的待执行 task 不是简单的放到一个 queue 里,除了 runtime 内共享的,可被每个 worker 消费的 run_queue ,每个 worker 还有一个自己的 lifo_slot ,只存储一个最后被放入的 task (目的是减小调度延迟)。lifo_slot 只由它所属的 worker 使用,里面存储的 task 不能被其他 worker 执行。由于这个结构,构造 hang 住的方法是如图所示:

  • Future f1 被 runtime-1 执行, 持有一个 async 的锁 m 后,返回了 Pending ,这时它被调度到 worker-1 本地的 lifo_slot。

  • Future f2 在 runtime-1 执行后返回 Pending,被放入共享队列 run_queue。

  • Future f3 在 runtime-1 中执行, 它将一个任务 f4 交给其他的 runtime 去完成(例如为了隔离网络IO和本地磁盘IO),使用 block_on(f4)  的方式,等待执行结果返回。

  • f4 中也需要锁 m,等待。

这时,f2 在共享队列 run_queue 中,可以被执行,但是 f1 在 worker-1 本地的 lifo_slot 里,只能由 worker-1 调度,但 worker-1 当前阻塞在 f3。于是等待关系形成了一个环: f4 → m(f1) → f3 → f4,hang 死任务达成。

图片

张炎泼(XP) @ Databend

前白山云合伙人兼研发总裁

曾就职于新浪、美团云等。物理系背叛者,设计师眼中的美工,bug mafer,vim 死饭,研究分布式协议

关于 Databend

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

  • Databend 文档:https://databend.rs/

  • Twitter:https://twitter.com/Datafuse_Labs

  • Slack:https://datafusecloud.slack.com/

  • Wechat:Databend

  • GitHub :https://github.com/datafuselabs/databend

awaitgroup:等待一系列异步任务完成 等候组 WaitGroup的异步实现。 WaitGroup等待一组任务完成。 主要任务可以创建新的工作程序,并将其传递给它要等待的每个任务。 然后,每个任务在完成执行时都会调用done 。 主要任务可以调用wait来阻止,直到所有注册的工作人员都完成为止。 use awaitgroup :: WaitGroup; #[tokio::main] async fn main () { let wg = WaitGroup :: new (); for _ in 0 .. 5 { // Create a new worker. let worker = wg. worker (); tokio :: spawn ( async { // Do some work... // This task 立即下载

相关推荐

rust-tcp-async-client:rust tokio 异步多客户网络框架

rust-tcp-async-client rust实现的异步多客户端网络框架,基于和,可自定义通讯协议 插件化采用lua。应用场景im,game server,bot等.golang 实现的网络框架就很多了,个人希望能在rust做一些微不足道的贡献,该项目的代码也很简陋属于 demo ,线上生产还是需要深加工.欢迎:clapping_hands:各位大佬吐槽毕竟我还是rust萌新项目更多的代码 Copy 自 hhhhhh :balloon:框架:balloon: 主线程维护多个client,将消息分发至lua。 :balloon:性能:balloon: 性能和并发这我不想说,我等萌新再弱鸡,Rust的优势会弥补我们的不足。弘扬Rust势在必行emm......Golang弟弟表示不服.... :balloon:协议:balloon: 自定义协议部分并没有抽离出来,因为本人正处于并将长期处于萌新阶段。。hhhh 请阅读源码codec.rs来实现自己的协议即可 编码器采用的 tokio的Codec :balloon:插件:balloon: 在P

tokio之runtime简述

本人是刚开始阅读rust的tokio源码不久,想把自己的的一些理解写下来,如果有什么不对的地方欢迎指出。 tokio是rust的异步库,其主要的逻辑在runtime里,就是我们通常说的运行时。在运行时里,我们可以执行异步函数。 在说到运行异步函数之前我们先来了解几个概念: //! Unlike other Rust programs, asynchronous applications require runtime //! support. In particular, the follow

m0_68007835的博客 1231

车载与安防项目实战:如何用RK3588搭配NVP6158C实现4路AHD摄像头BT1120接入与同步预览

本文详细解析了基于RK3588处理器与NVP6158C解码芯片实现4路AHD摄像头BT1120接入与同步预览的技术方案。针对车载环视和安防监控场景,重点探讨了硬件架构设计、BT1120接口配置、多路同步机制及Android HAL适配等核心问题,提供了从底层驱动到上层应用的完整实现路径,为相关领域的工程实践提供可靠参考。

weixin_30571465的博客 487

tokio::runtime详解

当运行中的任务结束之后会立即执行Lifo槽中的任务,如果调度的任务连续来自槽中,tokio会临时禁止调度槽中任务,直到有一个调度的任务不是来自槽中,由于槽中数据和本地线程是分离的,其他线程无法获取本线程槽中的任务。维护了两个队列,一个全局的,一个本地的,调度的时候优先从本地队列中获取任务,当本地任务是空的,或者从本地连续获取了31次任务进行调度,那么就会从全局队列获取,31可配置。如果全局队列和本地队列都是空的,就会从其他工作线程的本地队列获取,每次获取对方的一半数量的任务,异步应用程序需要的运行时支持。

weixin_46451012的博客 973

Unity PBR实战:从零打造丝绸材质各向异性高光效果

本文详细介绍了在Unity中实现丝绸材质各向异性高光效果的PBR实战技巧。通过改造Standard Shader、适配IBL环境光以及高级效果调优,开发者可以创建出逼真的丝绸材质,展现动态光纹变化。文章包含关键代码示例和参数配置建议,特别适合需要提升材质表现力的Unity开发者。

weixin_29015483的博客 462

CAN总线错误帧全解析:从数据包到硬件层的故障树分析

本文深入解析CAN总线错误帧的故障树分析方法,从数据包到硬件层全面剖析错误机制。通过物理层信号测试、数据链路层错误解码和应用层协议排查,提供系统化的诊断框架。结合CANoe配置和示波器波形分析,帮助工程师快速定位总线故障,提升系统可靠性。

weixin_26742753的博客 497

性能优化怎么做?互联网对象访问频率的91分布原则

导语:在互联网领域, 认为90%的流量由10%的内容产生。很多技术策略也由此产生,本文作者针对这一现象做了数学论证,并对其中怎么科学使用该结论给出方法。张炎泼 (xp),30 年软件开发经验,物理系背叛者,设计师眼中的美工,bug maker,vim 死饭,悬疑片脑残粉。曾就职新浪, 美团。现在白山云,不是白云山 。在互联网领域, 流行着这么一句话:90%的流量由10%的内容产生.缓存也由此产生:...

weixin_45583158的博客 640

hwasan / asan详细分析踩内存之一:Use after free

UAF漏洞全称为use after free ,即利用已经被free掉的堆块被再次利用,该漏洞的存在是因为程序编写者在free堆块部分没有将该堆块的fd指针改为0,进而导致该堆块可以被申请回来,3.内存块被free后,其对应的指针没有被设置为 NULL,但是在它下一次使用之前,有代码对这块内存进行了修改,那么当程序再次使用这块内存时,就很有可能会出现奇怪的问题。2.堆块free后,对应指针没有被设置为NULL,即还可以调用会该堆块,当我们申请一个比该堆块小于等于的size时。

1402

程序员必读:摸清hash表的脾性

作者:张炎泼(XP),白山云科技合伙人兼研发副总裁,绰号XP。 张炎泼先生于2016年加入白山云科技,主要负责对象存储研发、数据跨机房分布和修复问题解决等工作。以实现100PB级数据存储为目标,其带领团队完成全网分布存储系统的设计、实现与部署工作,将数据“冷”“热”分离,使冷数据成本压缩至1.2倍冗余度。 张炎泼先生2006年至2015年,曾就职于新浪,负责Cross-I...

博客 825

RT-DETR改进前必看 - Ultralytics调参 1:1还原RT-DETR官方版本实验环境,更方便改进

的项目文件中集成了YOLOv3v5v6v8v9v10rt-detr11以及其中不同大小的模型结构,更方便我们学习和使用。的参数配置在路径下,其中中设置了模型在训练Train验证Val/Test预测Predict可视化Visualize导出Export超参数Hyperparameters、以及跟踪Tracker的相关参数。在调参过程中主要涉及训练Train和超参数Hyperparameters。下面主要介绍一下初始超参数Hyperparameters。

Limiiiing的博客 7977

双馈风机并网系统宽频振荡机理与抑制方法研究

双馈风机并网系统宽频振荡分析与抑制 摘要:本文研究了双馈风机(DFIG)接入弱电网引发的宽频振荡问题。通过建立DFIG并网系统阻抗模型,分析了锁相环带宽、电流环带宽等参数对阻抗特性的影响。研究揭示了DFIG与电网阻抗交互导致交截频率处相位差超过180°的振荡机理。提出基于锁相环优化的阻抗重塑抑制策略,采用电压补偿和陷波器改善系统稳定性。仿真结果表明,该方法能有效降低相位差约10°-168°,显著抑制宽频振荡。代码实现了阻抗建模、稳定性分析和抑制策略验证,为工程应用提供了理论依据。

huanghm88的专栏 323

Tokio 多线程调度器架构的深度解读

Tokio 的多线程调度器是一台复杂的“事件协调器”——在各种任务、IO、定时器、阻塞兼容之间精确调度,实现最大化的并发。掌握其架构与行为,对写出高性能异步代码至关重要。通过理解队列结构、工作窃取、IO 驱动和阻塞策略,你可以更有信心地调校 runtime、识别瓶颈,并构建出既高效又稳定的 Rust 服务。

qq_43221686的博客 2080

uniapp(全端兼容) - 最新详细uniapp全平台植入使用echarts图表插件,引入 Echarts 图表及使用详细教程,提供各种图表使用示例(拒绝复杂的过程,附带详细的使用示例保姆级教程)

uniapp 微信小程序 echats 图表,uni-app小程序引用echarts,niapp 微信小程序引入echats教程,uniapp 使用echats图表,uniapp开发如何在微信小程序平台使用echats图表,uniapp开发的小程序中怎么用echats,在uni-app中编译到微信小程序如何使用echarts,UNIAPP微信小程序使用Echarts,uni-app微信小程序使用echarts,Uniapp小程序端使用echarts最详细的教程,uni-app中使用Echarts绘画图表,u

✅ 精选推荐文章 1万+

Tokio运行时Worker线程卡死诊断与恢复实战指南

异步编程是现代高并发系统的核心技术,其核心原理是通过非阻塞I/O和事件循环机制,在单线程内高效处理大量并发连接。在Rust生态中,Tokio作为主流的异步运行时,采用工作窃取调度模型来执行Future任务。然而,当任务执行过程中出现同步阻塞、死锁或资源耗尽时,可能导致所有Worker线程陷入停滞,即“Hang死”状态,这会严重影响服务的可用性。从技术价值角度看,理解并解决此类问题对于构建高可靠的分布式系统至关重要,尤其是在微服务、API网关和实时数据处理等应用场景中。本文聚焦于Tokio运行时Worker线

weixin_42561192的博客 268

风控域——决策引擎系统设计

本文详细介绍了风控决策引擎系统的设计与应用。决策引擎系统是一种智能化工具,可自动化、数据驱动地辅助或替代人工决策,广泛应用于金融、医疗、营销、风控等领域。文章阐述了决策引擎的核心功能,包括自动化决策、动态规则管理、实时处理和模型集成,以及系统组成,涵盖数据输入层、规则引擎和模型服务层。此外,还探讨了决策引擎的典型应用场景、技术架构、组件设计,以及风控决策引擎系统的技术方案、设计难点和重点。

庄小焱 3326

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

tokio 学习

/ future执行成功返回的类型///////////////////////////////////////// poll方法被异步运行时调用,用来检查异步任务是否已经完成// 返回的Poll是一个枚举,其中Poll::Pending表示还未完成,Poll::Ready(value)表示已经完成异步任务 h1 中的Future一直返回,这意味这个Future将永远无法执行。// Context包含异步任务的上下文,可以用来唤醒当前的任务。

cosx_的博客 1707

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

tokio::sync详解

本文主要介绍tokio的sync模块,内容来自官方文档,tokio版本v1.38.1。

weixin_46451012的博客 1077

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

Tokio共享状态

Tokio教程之共享状态 https://tokio.rs/tokio/tutorial/shared-state 到目前为止,我们有一个键值服务器在工作。然而,有一个重大的缺陷:状态没有在不同的连接中共享。我们将在这篇文章中解决这个问题。 策略 在Tokio中,共享状态有几种不同的方式: 用Mutex来保护共享状态。 生成一个任务来管理状态,并使用消息传递来操作它。 一般来说,对于简单的数据使用第一种方法,而对于需要异步工作的东西使用第二种方法,比如I/O原语。在本章中,共享状态是一个Ha

跨链技术践行者 1454

Rust tokio 如何以异步非阻塞方式运行大量任务

tokio 官方给了一个完整的例子:手动构建 runtime ,利用 block_on 来运行多个任务。 tokio 的任务是由 tokio::spawn 之类的函数产生的 JoinHandle 类型,而且是个 Future 。 而下面利用 #[tokio::main] 和 await 编写了等价的版本(为了直观对比任务完成的实际顺序和总耗时,我对 sleep 的时间做了一些简化): use std::time::Instant; use tokio::time::{sleep, Duration}; #

苦瓜小仔 2496
上一篇: Databend 内幕大揭秘第二弹 - Data Source
下一篇: Databend 开源周报 第 77 期
Databend
博客等级 码龄5年 1458粉丝 363原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值