tokio::select! 宏的执行逻辑与公平性:防止分支饥饿的底层原理

Rust Tokio 异步多客户端网络框架 高并发 插件化 Rust-Tcp-Async-ClientRust实现的异步多客户端网络框架,基于tokio和mlua,可自定义通讯协议 插件化采用lua。应用场景im,game server,bot等.golang 实现的网络框架就很多了,个人希望能在Rust做一些微不足道的贡献,该项目的代码也很简陋属于demo,线上生产还是需要深加工.欢迎 :clapping_hands:各位大佬吐槽毕竟我还是Rust萌新项目更多的代码 Copy 自tox-rs hhhhhh :balloon:框架 :balloon:主线程维护多个client,将消息分发至lua。 :balloon:性能 :balloon:性能和并发这我不想说,我等萌新再弱鸡,Rust的优势会弥补我们的不足。弘扬Rust势在必行emm......Golang弟弟表示不服.... :balloon:协议 :balloon:自定义协议部分并没有抽离出来,因为本人正处于并将长期处于萌新阶段。。hhhh 请阅读源码codec.rs来实现自己的协议即可 编码器采用的tokio的Codec :balloon:插件 :balloon:在Plugins目录下已给出demo 默认绑定了2个函数OnChatMsg 和OnChatEvent 收到消息的时候会遍历插件并调用OnChatMsg和收到相关事件的时候会遍历插件并 立即下载

tokio::select! 宏的执行逻辑与公平性:防止分支饥饿的底层原理

封面信息图

在编写异步事件驱动系统(如网络抓包分析器、高并发网关)时,我们经常需要同时等待多个异步事件并处理最先就绪的那一个:

  • 比如“一边等待新的以太网数据帧到达,一边监听用户的 Ctrl+C 退出信号”;
  • 比如“一边向大模型发起流式请求,一边设置 5 秒超时定时器”。

在 Go 语言中,我们有原生的 select 关键字;而在 Rust 生态中,Tokio 提供了极其强大的 tokio::select! 宏。

然而,很多初学者在写 tokio::select! 时,很容易忽略其底层轮询顺序、分支偏向性(Bias)以及取消安全性(Cancel Safety),最终导致线上系统在高并发下出现严重的分支饥饿(Branch Starvation)或数据静默丢失。

今天这篇文章,我们顺着 Tokio 源码剖析 tokio::select! 的物理执行逻辑与生产级避坑指南。


1. tokio::select! 的底层状态机运转流程

当我们写下一个 tokio::select! 块时:

use tokio::sync::mpsc;
use tokio::time::{sleep, Duration};

async fn select_demo(mut rx_packet: mpsc::Receiver<Vec<u8>>) {
    tokio::select! {
        Some(packet) = rx_packet.recv() => {
            println!("收到数据包,长度: {}", packet.len());
        }
        _ = sleep(Duration::from_millis(500)) => {
            println!("超时无数据到达!");
        }
    }
}

在编译期,tokio::select! 会把所有分支的 Future 组合成一个庞大的聚合状态机:

  1. 就绪检测(Poll All):按照特定顺序依次调用每个分支的 poll 方法;
  2. 胜出执行(Winner Execution):只要有某一个分支返回了 Poll::Ready(val),立即执行该分支对应的代码块,并立即丢弃(Drop)所有其他尚未完成的分支 Future;
  3. 挂起让步(Pending):如果所有分支都返回 Poll::Pending,将当前任务注册到所有分支的 Waker 中,整个 select! 挂起等待被唤醒。

2. 默认偏向性(Bias)引发的“分支饥饿”灾难

默认情况下,tokio::select! 永远从代码中写在最前面的第一个分支开始依次向下轮询。

在极端高并发流量下,这会引发致命的分支饥饿(Branch Starvation):

// 危险代码:高频通道排在前面
loop {
    tokio::select! {
        // 分支 1:在高并发下,rx_high_traffic 通道永远有就绪数据!
        Some(msg) = rx_high_traffic.recv() => {
            process_msg(msg);
        }
        // 分支 2:控制信号通道(如配置热重载、退出信号)排在后面
        Some(cmd) = rx_control_signal.recv() => {
            println!("执行配置热重载!");
        }
    }
}
灾难现象:

在高流量涌入时,每次循环 rx_high_traffic.recv() 在被 poll 的第一毫秒就总是就绪的。调度器永远在执行分支 1,分支 2 永远得不到被 poll 的机会!即使用户在控制通道发送了十几次重启信号,程序依然熟视无睹。

解决方案一:使用 biased; 显式声明优先级(如果你确实需要)

如果你希望严格保持从上到下的确定性优先级,显式写上 biased;:

tokio::select! {
    biased; // 显式声明按书写顺序检查
    _ = shutdown_signal => { break; } // 退出信号拥有最高绝对优先级
    Some(pkt) = rx_packet.recv() => { ... }
}
解决方案二:默认公平随机轮询(Random Selection)

在不写 biased; 的现代 Tokio 版本中,宏会在内部生成伪随机初始偏移量,以轮换的方式检查各个分支,从而在统计学上保证各事件分支的绝对公平调度。


3. 取消安全性(Cancel Safety)的生死线

这是使用 tokio::select! 最关键、最容易造成数据丢失的概念。

什么是取消安全(Cancel-Safe)?

当一个分支在 select! 中没有胜出时,它的 Future 会被立即 Drop 析构。

  • 取消安全:如果一个 Future 在被 Drop 之后,其底层的未决数据或操作不会损坏、不会丢失,下次重新创建该 Future 时能继续无缝推进(如 mpsc::Receiver::recv、AsyncReadExt::read、tokio::time::sleep);
  • 非取消安全(Cancel-Unsafe):如果一个 Future 在中途被 Drop,会导致部分数据已经被消费但未被调用方拿到,造成数据永久丢失(如 AsyncReadExt::read_exact、AsyncWriteExt::write_all)。
经典数据丢失反面教材:
// 致命错误:read_exact 是非取消安全的!
let mut buffer = [0u8; 1024];
tokio::select! {
    // 假设底层先读取了 500 字节,此时另一个分支超时触发了
    // 该 read_exact Future 会被立即 Drop!那 500 字节数据直接从内核缓冲区蒸发丢失!
    res = socket.read_exact(&mut buffer) => { ... }
    _ = timeout => { ... }
}
正确做法:
  • 对于非取消安全的操作,不要直接裸写在 select! 内部,应该先读取原始字节流(read 是取消安全的),或者使用 pin! 宏将 Future 钉在循环外部保持生命周期连续性:
use tokio::pin;

let read_future = socket.read_exact(&mut buffer);
pin!(read_future); // 将 Future 钉住,不随每次 select 迭代被丢弃!

loop {
    tokio::select! {
        res = &mut read_future => {
            // 读取完成
            break;
        }
        _ = sleep(Duration::from_millis(100)) => {
            println!("500 字节已读,等待剩余 524 字节中...");
        }
    }
}

总结

掌握 tokio::select! 的生产级心法:

  • 明确分支偏向策略:对控制与关闭信号使用 biased; 赋予最高优先级,对并发数据流依靠默认随机公平调度;
  • 时刻谨记取消安全性:查阅 Tokio 官方文档中的 Cancel Safety 表格,绝不在 select! 裸写 read_exact 或 write_all;
  • 善用 pin! 保持长生命周期 Future,杜绝未完成状态被静默 Drop。
QT-使用ECharts显示地图,还有更多惊艳的图表等待你的使用 QT-使用ECharts显示地图前言一、使用步骤1.下载示例2. QT使用HTML文件配置3.使用HTML文件4. 数据交互及自适应总结注意:这个地图是百度的在线地图,需要百度API密钥和在联网的状态下使用。离线使用图表 前言 我上文QT图表chart-饼状图,使用qt自带的图表库charts来显示图表,实现数据可视化,但是QT自带的图表库显示效果并不佳,通俗说,就是不好看。 然而,有这么一个开源图表库,图表种类极多,并且效果良好,能够实现具有很好的视觉冲击的数据可视化。 它就是Apache ECharts 阅读详情

相关推荐

基于STM32的电子琴音乐播放器设计

​ 本设计以实际电路为最后的结果,实现了所有与其功能,具有重要的现实意义。件,在Proteus中进行原理图绘制,然后把 .hex文件下载到STM32F103RBT6中 进行仿真。由于网络上 下载的 Proteus中 没有 STM32F103RBT6这个芯片型号,我们又从网上 下载芯片 进行仿真。​ 本设计以实际电路为最后的结果,实现了所有与其功能,具有重要的现实意义。

TMMXA的博客 2万+

Tokio教程之select

select Tokio教程之select https://tokio.rs/tokio/tutorial/select 到目前为止,当我们想给系统添加并发性时,我们会生成一个新的任务。现在我们将介绍一些额外的方法,用Tokio并发执行异步代码。 tokio::select! tokio::select!宏允许在多个异步计算中等待,并在单个计算完成后返回。 比如说: use tokio::sync::oneshot; #[tokio::main] async fn main() { .

跨链技术践行者 2338

C# 实现鼠标轨迹录制与回放自动化功能(附源码)

通过本文的介绍,相信大家已经掌握了鼠标轨迹录制与回放功能的实现方式。该功能在自动化测试和重复性工作中具有重要应用价值。后续可以进一步优化,增加更多扩展功能,形成一个完整的自动化工具。

weixin_72139050的博客 1758

rust tokio select!宏详解

本文介绍Tokio中select!的用法,重点是使用过程中可能遇到的问题,比如阻塞问题、优先级问题、问题。在Tokio中,select!是一个宏,用于同时等待多个异步任务,并在其中任意一个任务完成时执行相应的逻辑。

聆听风雨的博客 3154

UG二次开发避坑指南:如何正确配置Python环境让NXOpen脚本跑起来?

本文详细介绍了UG/NX二次开发中Python环境配置的全流程与NXOpen脚本调试技巧,帮助开发者避开常见陷阱。从NXOpen架构解析到Python解释器版本匹配,再到环境变量设置与路径问题处理,提供了一套经过验证的配置方案,确保脚本顺利运行。

weixin_33859135的博客 452

网络抓包实战:如何捕获与解析802.1Q VLAN标签报文

在网络通信中,数据包是信息传输的基本单元,而VLAN(虚拟局域网)技术通过在数据链路层插入802.1Q标签,实现了网络流量的逻辑隔离与高效管理。其核心原理是在标准以太网帧头中嵌入4字节的VLAN标识,使交换机能够根据VID(VLAN ID)进行精准转发。掌握VLAN报文的捕获与解析技术,对于网络故障排查、安全审计和性能优化具有重要价值,尤其在需要验证网络隔离策略或诊断Trunk链路异常时。本文聚焦于使用Wireshark工具,结合端口镜像等实操方法,详细演示如何抓取并解读携带802.1Q标签的原始报文,帮助

weixin_33417488的博客 385

Rust : tokio中select!

但这个选择是通过异步同时执行所有的”条件任务“PK出来的,就相当于共有3位运动员跑1000米,首先冲过终点的人,拥有”执行后续任务“的权利,并执行。当确认了首先冲过终点的人后,其它的人就不用跑了,被"抛弃"了,这些被”抛弃“的人,也没有权利完成其”执行后续任务“。中“抛弃”和“后续执行”策略。1、A和B条件任务均执行,但B任务提前完成,此时A任务未完成部分"抛弃"1、A和B条件任务均执行,但A任务提前完成,此时B任务未完成部分"抛弃"1、A和B条件任务均执行,但A任务提前完成,此时B任务未完成部分"抛弃"

代码过客 928

射频电路设计——射频器件基础

本文仅供自己复习使用,请勿转载! 射频电路制作方法 MCM工艺 CMOS工艺 趋肤效应、深度 频率越高趋肤效应越明显 高频器件 高频电阻 绕线的比贴片的多一个电感,是因为绕线的因为是线绕制的,只有有线就会有电感,所以绕线电阻等效模型会比贴片的多一个电感 多晶硅电阻模型 深线性区MOS电阻 高频电阻的频率响应 记忆的话就后面的频率特性有点像电容的 高频电容 作用 单层贴片式电容 多层贴片式电容 MIM电容 MOM电容 由于是并联的,所以总的电容值是单个的直接相加 PN结电容 M.

输出每日所学,供大家学习使用 7154

Rust tokio::select学习杂记

Rust tokio::select学习杂记 前言 Linux系统有select/poll/epoll等,主要用于监控各种fd上发生的各种event, 从而识别派发处理。golang语言中也有一个select,作用相似,主要监控channel上发生的可读可写event。 对于rust tokio/async_std/crossbeam/futures等也需要一个select去统一集中监控...

2944

完整IC设计流程解析&Makefile学习

本文介绍了decorder38项目的文件结构、自动化综合流程和Makefile使用方法。项目包含RTL到GDSII全流程文件,重点关注syn目录中的综合脚本。通过make dc命令运行综合流程,生成网表、约束和时序文件。关键报告如qor.rpt、area.rpt和min_vio.rpt用于分析综合质量、面积和时序。Makefile部分解释了其基本语法、IC设计中的典型结构,包括目标定义、命令执行和特殊声明,强调了其在自动化构建和依赖管理中的重要性。

m0_63352623的博客 857

深入解析DDR5 RFM机制:从JESD79-5标准到硬件实现

本文深入解析了DDR5内存标准中的关键机制——RFM(Refresh Management)。文章从JESD79-5标准出发,详细阐述了RFM如何通过RAA计数器实现从被动定时到主动响应的智能刷新管理,并探讨了其硬件实现细节、命令调度挑战及系统级设计考量,为芯片设计工程师优化DDR5内存子系统性能与可靠性提供了实践指导。

fff88的博客 494

tokio::select! 不是第一个就绪的异步任务如何处理

例如,在以下代码中,即使异步任务 task1 和 task2 同时就绪,tokio::select!当执行完一个任务后,tokio::select!在下一次迭代时会再次检查所有未完成任务的状态,然后选择另一个就绪的任务。宏会分别执行两个就绪的任务。当一个任务完成后,其相应的变量(例如 task1_done 或 task2_done)将被设置为 true,并且程序将在下一次迭代时继续检查其他任务。宏时,如果有多个异步任务同时就绪,它会选择其中一个任务进行处理。其他就绪的任务并不会被丢弃,而是留待下一次选择。

a1091758887的博客 456

电机控制框架选型指南:从TI MotorWare到ST MC SDK,5种架构优缺点对比

本文深入对比了TI MotorWare、ST MC SDK、AUTOSAR、FPGA+ARM及集成方案等五种主流电机控制软件框架的架构特点、实时性、开发效率与硬件兼容性。通过工业伺服和消费电子的实战案例分析,为工程师提供了清晰的选型逻辑与决策清单,旨在帮助规避技术债务,选择最适合项目需求的电机控制框架。

rnn9storyteller的博客 1180

RustTraining 并发实战:深入解析 Rust 中的 Concurrency、Parallelism 与 Threads(Rust Patterns 第 6 章)

> **本篇导读**:本文以 RustTraining 仓库中 [rust-patterns-book/src/ch06-concurrency-vs-parallelism-vs-threads.md](https://link.gitcode.com/i/11e633030cf0c5cb9b1c21a13ab4d257) 为骨架展开,系统梳理 Rust 并发编程的核心概念:并发(Concurr

gitblog_00902的博客 69

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

select

select Tokio教程之select https://tokio.rs/tokio/tutorial/select 到目前为止,当我们想给系统添加并发性时,我们会生成一个新的任务。现在我们将介绍一些额外的方法,用Tokio并发执行异步代码。 tokio::select! tokio::select!宏允许在多个异步计算中等待,并在单个计算完成后返回。 比如说: use tokio::sync::oneshot; #[tokio::main] async fn main() { .

跨链技术践行者 663

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

突破异步边界:Tokio select!宏纯else分支的优雅实现

在Rust异步编程中,Tokio的`select!`宏是处理并发任务的实用工具。但当所有分支都处于Pending状态时,如何避免程序阻塞?本文将深入解析Tokio宏系统如何通过纯else分支实现非阻塞控制流,带你探索异步编程的边界突破技术。 ## 问题场景:异步任务的"薛定谔状态" 想象一个处理多个网络请求的场景:当所有请求都未就绪时,传统`select!`会让程序陷入等待。这种"薛定谔状态"...

gitblog_00415的博客 482

使用 Tokio 实现 Actor 系统

本文将不使用任何 Actors 库(例如 Actix ) 而直接使用Tokio实现 Actors 系统。事实上这甚至是更容易的,但是还是有一些细节需要注意: tokio::spawn 的调用位置。 使用带有run方法的结构体还是裸函数。 Actor 的 Handle 函数。 背压( Backpressure ) 和 有界信道。 优雅的关闭。 本文概述的技术适用于任何执行器,但为简单起见,我们仅讨论Tokio。与Tokio教程中的 spawning 和channel chapters章节有一些重.

跨链技术践行者 841

攻克并发难题:Tokio select!宏的实战进阶与竞态条件防御指南

在Rust异步编程领域,Tokio作为最流行的运行时之一,其`select!`宏是处理并发任务的核心工具。本文将深入探讨`select!`宏的高级用法,揭示如何利用它优雅地管理多个异步操作,并提供实用的竞态条件防御策略,帮助开发者构建更可靠的异步应用。 ## 一、深入理解Tokio select!宏:并发任务的智能协调者 `select!`宏允许你同时等待多个异步操作,并在其中任何一个完成时立

gitblog_00200的博客 535

Comprehensive Rust 并发控制进阶:深入掌握 `tokio::select!` 多路复用与超时处理

`tokio::select!` 是 Rust 异步编程中实现"多路复用"的核心宏:它同时等待一组 future,只要其中任何一个先就绪,就立即响应该 future 的结果,其余未就绪的 future 则被取消。本文以 Comprehensive Rust 课程中 [异步控制流一节](https://link.gitcode.com/i/9dbf12b9a621a0e5813212536d2110

gitblog_00673的博客 411

asynchronous - rust lazy_static和tokio::select中的tokio::sync::mpsc::channel

我最近开始用 rust 编码,我很喜欢它。我在一个要“包装” C-API的项目上编码。在一种情况下,我必须在Rust中定义C可以调用的回调。我让bindgen创建了回调。由于代码需要异步运行,因此我使用了tokio。 我想要达成的目标 我将主要功能创建为tokio::main。在主要功能中,我创建了2个异步任务,一个监听 channel ,另一个监听C-API中的消息队列。如果消息可用,我想通过回调函数上的 channel 发送消息,这样我就可以在任务中接收消息,而我正在监听事件。稍后,我想通过SSE或Gr

跨链技术践行者 1307

Tokio,Rust异步编程实践之路

缘起 在许多编程语言里,我们都非常乐于去研究在这个语言中所使用的异步网络编程的框架,比如说Python的 Gevent、asyncio,Nginx 和 OpenResty,Go 等,今年年初我开始接触 Rust,并被其无 GC、内存安全、极小的运行时等特性所吸引,经过一段时间的学习,开始寻找构建实际项目的解决方案,很快 mio、tokio 等框架进入了我的视野,于是开始从更加底层的 mio 出发实...

weixin_30456039的博客 1740

008 Rust 异步编程,select 宏介绍

select宏 select宏也允许并发的执行Future,但是和join、try_join不同的是,select宏只要有一个Future返回,就会返回。 示例 源码 use futures::{select, future::FutureExt, pin_mut}; use tokio::runtime::Runtime; use std::io::Result; async fn function1() -> Result<()> { tokio::time::delay

令狐一冲 1185

[RUST]tokio异步使用的例子: 简单的标准输入输出服务

功能:从标准输入stdin获取输入,并原样输出到标准输出stdout; 关联:tokio crate的async、await、spawn、spawn_blocking等功能使用; 依赖:Cargo.toml [dependencies] tokio = { version = "*", features = ["full"] } 代码: main.rs use std::io; use ...

小蜗牛之家 2345

【tokio】异步编程

异步编程如果操作不能立即获得执行结果,操作会挂起到后台,执行线程不阻塞,继续执行其他操作任务。await对返回值执行await时,才执行异步操作。这里的返回值是指调用异步函数的返回值,该返回值标识这个异步操作。这是一个注释宏,会将异步main函数转换为同步main函数,初始化运行时,并执行异步main函数。同步编程按程序编写的顺序执行,如果操作不能立即获得执行结果,会一直阻塞直到获取到结果。async标识函数为异步,async标识的函数会编译成异步执行例程。...

G4N3 835

Tokio学习

Tokio 学习 原本想直接学习Actix-Web,一层层看下来,发现内容太多,杂乱,没有目的。所以,一层层剥下来,最终落脚到Tokio上,现在先了解Tokio的相关内容,最终学习Actix相关内容。 Tokio是Rust的一个异步编程库,它是一个事件驱动,使用非阻塞IO编写异步程序的库。总的来说,有几个特点: 多线程、基于调度的任务窃取(work-stealing) 一个reactor后端,通...

笨笨D幸福 - 后花园 3258

AI 问数真的能替代 BI 报表吗?

AI问数赋能自然语言查询,提升临时分析效率,但无法替代传统报表。报表适用于稳定输出与持续监控,AI则擅长探索性提问。企业用好AI问数,关键在于夯实数据模型、统一指标口径、健全权限体系与结果校验机制。合理组合报表、仪表板与AI,才能实现高效、准确的业务洞察。

葡萄城技术团队博客 339

ChatGPT、Perplexity、Gemini 与 AI Overviews 引用对比:谁的引用更可信

AI 引擎的引用机制差异很大:ChatGPT 以行内引用加 Sources 列表呈现来源,Perplexity 几乎逐句可溯源,Gemini 在回答中内嵌相关来源链接,AI Overviews 则把多源聚合答案与来源列表一起放在搜索结果顶部。本文从引用透明度、来源偏好、可干预性 3 个维度对比这 4 个引擎,并给出 GEO 的 3 点启示,帮企业在多引擎环境下提升被引用的概率。

淡然一笑 的专栏 276
上一篇: 生命周期标注的推导三规则:为什么有些引用根本不需要写 ‘a
下一篇: Cargo Features 条件编译精细化配置:打造可裁剪的高性能二进制
第一程序员
博客等级 码龄1年 1万+粉丝 1827原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值