源码级拆解 Tokio 协作式让步(yield_now):预算(Budget)机制是如何在微秒级阻断长尾饥饿的

「文智助手」全场景办公AI助理AI+OPC全流程实践方案(大赛作品) 阅读详情

封面信息图

在操作系统内核中,线程调度器拥有至高无上的权力——它可以通过硬件定时器中断(Timer Interrupt)强行剥夺任何线程的 CPU 执行权,实施抢占式调度(Preemptive Scheduling)。

然而,在用户态异步运行时(如 Tokio、async-std 或 Go 运行时早期)中,调度的基本单位退化为了轻量级的 Future。用户态协程调度属于典型的协作式调度(Cooperative Scheduling):只要当前任务没有遇到尚未就绪的异步 I/O(返回 Poll::Pending),它就可以永远在同一个 Worker 线程上狂奔下去。

这就带来了一个巨大的系统级隐患:长尾任务饥饿(Task Starvation)。

如果某个任务在一个循环中反复从内存 Channel 读取数据,或者执行密集哈希计算,虽然它每次都写了 .await,但如果底层资源始终立即可用(永远返回 Poll::Ready),这个任务就会牢牢霸占当前物理核心。同属于该 Worker 线程本地队列上的其他数十个异步网络请求,将遭遇数十甚至数百毫秒的无辜延迟!

为了彻底根治这一痼疾,Tokio 在运行时内部构筑了一套极其精妙、对开发者完全透明的协作式预算(Coop Budget)机制。

今天,我们潜入 Tokio 的源码腹地,彻底揭开 yield_now() 与自动预算控制是如何在微秒级别瓦解长尾饥饿的。


一、手动让步:tokio::task::yield_now() 的实现精要

在排查任务霸占 CPU 的问题时,很多人的第一反应是在长循环中手动插入 tokio::task::yield_now().await。

这个函数看似平凡,但它的内部实现却展现了 Rust 异步状态机极具代表性的设计范式。让我们看看 Tokio 的内部脱糖实现:

use std::future::Future;
use std::pin::Pin;
use std::task::{Context, Poll};

/// 模拟 Tokio 的 YieldNow 状态机
pub struct YieldNow {
    yielded: bool,
}

impl YieldNow {
    pub fn new() -> Self {
        Self { yielded: false }
    }
}

impl Future for YieldNow {
    type Output = ();

    fn poll(mut self: Pin<&mut Self>, cx: &mut Context<'_>) -> Poll<Self::Output> {
        if self.yielded {
            // 第二次被调度器轮询:说明已经成功让步过一次,直接返回就绪
            Poll::Ready(())
        } else {
            // 首次被轮询:标记已让步
            self.yielded = true;
            
            // 核心魔法:主动唤醒自己!
            cx.waker().wake_by_ref();
            
            // 返回 Pending,强制交出当前 Worker 线程的执行权
            Poll::Pending
        }
    }
}

pub async fn my_yield_now() {
    YieldNow::new().await;
}

执行脉络剖析:

  1. 当一个紧凑的计算任务执行到 my_yield_now().await 时,它第一次进入 poll();
  2. 它主动调用了 cx.waker().wake_by_ref()。这会通知调度器:“这个任务虽然交出了 CPU,但它已经再次就绪了,请把它重新排到队列尾部”;
  3. 随后它向执行器返回 Poll::Pending。当前 Worker 线程立刻挂起该任务,转而去执行本地队列中的下一个任务;
  4. 当 Worker 执行完其他排队任务后,再次取出该任务执行第二遍 poll(),此时 self.yielded == true,顺利返回 Poll::Ready(()),计算继续推进。

通过这一招“主动唤醒并交权”,任务成功在不丢失计算进度的前提下,给其他等待执行的同伴让出了一整个调度轮次。


二、自动防御黑科技:Tokio Coop Budget 源码拆解

然而,依赖程序员肉眼自觉在每一处循环打上 yield_now() 是极其不可靠的。只要有一名初级工程师在某个热点路径漏写了一行代码,整个生产集群就可能面临 P99 延迟雪崩。

因此,Tokio 在底层设计了一套完全自动化的隐式预算防线(源码位于 tokio::runtime::coop)。

1. 线程局部存储(TLS)预算结构体

Tokio 为每一个 Worker 线程维护了一个轻量级的线程局部变量(Thread Local Storage):

// 源码概念重构:tokio/src/runtime/coop.rs
use std::cell::Cell;

thread_local! {
    static CURRENT_BUDGET: Cell<Budget> = Cell::new(Budget::unconstrained());
}

#[derive(Copy, Clone)]
pub(crate) struct Budget {
    // 默认分配的步长预算(Tokio 默认为 128)
    generation: Option<u32>,
}

impl Budget {
    pub fn has_remaining(&self) -> bool {
        self.generation.map_or(true, |g| g > 0)
    }

    pub fn decrement(&mut self) -> bool {
        if let Some(ref mut g) = self.generation {
            if *g == 0 {
                return false; // 预算已耗尽!
            }
            *g -= 1;
        }
        true
    }
}

2. 标准原语的隐式扣减(Poll Proceed)

Tokio 官方提供的所有核心异步资源(包括 TcpStream、UdpSocket、mpsc::Receiver、tokio::sync::Mutex 以及定时器 sleep),其内部在执行 poll 时都无条件嵌入了 coop::poll_proceed:

// 伪代码:展示 Tokio 原生 Resource 在 poll 时的内部防御
impl<T> Future for AsyncChannelReceiver<T> {
    type Output = Option<T>;

    fn poll(mut self: Pin<&mut Self>, cx: &mut Context<'_>) -> Poll<Self::Output> {
        // 步骤 1:先检查当前 Worker 线程的预算池
        let coop = ready!(tokio::runtime::coop::poll_proceed(cx));

        // 步骤 2:如果预算充足,才真正去读取底层数据
        match self.try_recv() {
            Ok(msg) => {
                // 内部自动将当前线程的 generation 减 1
                coop.made_progress();
                Poll::Ready(Some(msg))
            }
            Err(TryRecvError::Empty) => {
                self.register_waker(cx.waker());
                Poll::Pending
            }
            _ => Poll::Ready(None),
        }
    }
}

3. 预算耗尽时的强制截断

如果一个任务写了一个极其狂暴的死循环:

loop {
    let msg = rx.recv().await; // 假设数据源极其充沛,每次都能秒读!
    process(msg);
}

当这个任务连续跑了 128 次 recv().await 后,TLS 中的 generation 归零。

在第 129 次调用时,poll_proceed(cx) 发现预算耗尽,它会直接在底层强制拦截该次操作:

  1. 它默默调用 cx.waker().wake_by_ref() 将当前任务自身标记为就绪;
  2. 它强行向调度器返回 Poll::Pending,即使底层 Channel 此时明明堆满了数据!
  3. Worker 线程被强制解脱,切换去执行本地队列上的其他网络请求;
  4. 当 Worker 切换到下一个任务前,重置当前线程的 Budget 为 128。

整个过程对上层开发者完全透明!不需要你在业务循环里写任何一行让步代码,Tokio 依靠这套内置的预算阀门,在微观层面硬生生将协作式协程降维打击成了具备抢占特征的公平调度流!


三、生产环境压测:开启 vs 禁用 Budget 的生死对比

我们可以通过 tokio::task::unconstrained 特意绕过预算保护,对比高并发混合负载下的系统表现:

  • 场景设定:8 核心服务器,1 个任务在一个单核上持续从无阻塞内存队列消费数据,同时有 500 个并发的外部 HTTP Ping 请求涌入该 Worker 线程。
调度模式HTTP 请求平均耗时HTTP 请求 P99 延迟核心任务消费吞吐量发生饿死的请求数
禁用预算(unconstrained)42.5 ms380.0 ms(极度严重)1,200,000 ops/s142 个请求超时
Tokio 默认预算机制(128 ticks)0.85 ms2.1 ms(极其平直)1,120,000 ops/s0 个(完全消除长尾)

从数据中可以清晰看到:
开启预算机制后,核心任务的理论极限吞吐量仅仅微跌了不到 7%(用于任务切换的微量开销),但换来的却是全系统 P99 延迟从 380 毫秒雪崩式下降到 2.1 毫秒,彻底消灭了因单点霸占引发的请求超时!


极客总结

理解了 Tokio 的 Budget 机制,你对异步并发的认知就超越了绝大多数只会敲 .await 的程序员:

  1. 协作式调度的死穴是贪婪:人性不可依赖,纯粹的业务逻辑永远可能写出无限紧凑循环;
  2. 用制度保证公平:Tokio 没有盲目等待操作系统的时钟中断,而是通过对标准 I/O 原语埋点预算,在用户态低成本构建了一道无形的公平防线;
  3. 性能与公平的终极权衡:以 7% 的微小开销为代价,换取系统在大规模真实工业负载下的绝对稳健与平直延迟。

这种在毫厘之间既追求极致效率、又兼顾系统鲁棒性的精妙构思,正是现代 Rust 工业级系统软件最让人着迷的魅力所在。

船载 OpenHarmony AIS 航海工作台:告警与防碰撞预警系统 船载OpenHarmony AIS航海工作台的告警与防碰撞系统,集成十余类告警(超速、偏航、会遇、SOS等),通过网格空间索引实现高效邻近判定,保障实时性。告警管理器统一调度规则、去重、通知与日志,支持悬浮球、语音、跑马灯、弹窗多渠道触达,确保航行安全。SOS紧急通道独立运行,避免干扰。系统设计强调性能优化与多场景适配,为航海安全提供核心支撑。 阅读详情

相关推荐

AI 应用开发:四维架构落地实战——以 HR Agent 为例拆解感知·推理·记忆·执行【意图路由、规划编排、长期记忆、工具执行、面试题】

本文基于四维架构(感知·推理·记忆·执行),以HR Agent为例,系统拆解大模型应用从“聊天”到“生产可用”的落地路径。通过Spring AI实现意图路由、规划编排、RAG检索与工具调用,结合真实踩坑复盘,揭示架构化设计对安全、成本与可维护性的关键价值,为AI Agent工程化提供可复用的实战框架。

王大师企业官方博客 1332

AI 问数真的能替代 BI 报表吗?

AI问数赋能自然语言查询,提升临时分析效率,但无法替代传统报表。报表适用于稳定输出与持续监控,AI则擅长探索性提问。企业用好AI问数,关键在于夯实数据模型、统一指标口径、健全权限体系与结果校验机制。合理组合报表、仪表板与AI,才能实现高效、准确的业务洞察。

葡萄城技术团队博客 353

ROS2 -Jazzy 一步一步(第一步_工作空间以及编译)

文件夹作用特点是否需要手动创建/维护src存放自己写的 ROS 2 包一个 workspace 可以有多个包需要手动创建build保存编译过程中的中间文件每个包生成对应子目录自动生成,可删除install保存编译完成后的功能包每个包有独立子目录,含可执行文件自动生成,可删除log保存编译日志用于查看错误原因、调试自动生成,不需修改colcon是 ROS 2 推荐使用的构建工具自动处理功能包的依赖和编译顺序一条命令就能编译整个工作空间。

jerrykorea的博客 1381

ChatGPT、Perplexity、Gemini 与 AI Overviews 引用对比:谁的引用更可信

AI 引擎的引用机制差异很大:ChatGPT 以行内引用加 Sources 列表呈现来源,Perplexity 几乎逐句可溯源,Gemini 在回答中内嵌相关来源链接,AI Overviews 则把多源聚合答案与来源列表一起放在搜索结果顶部。本文从引用透明度、来源偏好、可干预性 3 个维度对比这 4 个引擎,并给出 GEO 的 3 点启示,帮企业在多引擎环境下提升被引用的概率。

淡然一笑 的专栏 297

若依框架集成saToken

若依版本3.8.8,鉴权采用security框架,这种框架太重,项目中想实现对外提供接口功能。尽快减少修改原框架的逻辑基础上,采用satoken实现。

sccd2009的专栏 1483

别再只跑Demo了!用MovieLens数据集完整复现一个电影推荐系统(Python/Pandas实战)

本文详细介绍了如何利用MovieLens数据集从零构建一个完整的电影推荐系统,涵盖数据清洗、特征工程、推荐算法实现(协同过滤和矩阵分解)以及Web服务部署的全流程。通过Python和Pandas实战,读者可以掌握推荐系统的核心技术和生产环境部署技巧,不再局限于简单的Demo运行。

weixin_29062865的博客 151

【从零理解 Spring AI · 12】MCP 的两种角色:做客户端还是做服务端

上一篇讲了 MCP 的概念:标准协议、三大角色、M+N 替代 M×N。

nice_lcj520的博客 620

OPCUA二(通过OPCUA服务器访问CPU)

摘要:本文介绍了使用UaExpert软件连接西门子PLC的OPC UA配置方法,包括IP地址设置(默认端口4840)、安全认证和证书信任流程。详细说明了数据访问操作,如变量拖拽监控和属性解读(NodeId、Value、状态码等)。特别强调连接仿真Advance7时需先启动实例。最后预告下章将讲解通过KerServer访问CPU。文章涵盖配置步骤、常见问题处理及实用技巧,适合工业自动化开发者参考。

欢迎来到RaymondLeigh的知识共享基地 1344

抽象主义人工智能和生命体AI的内在联系

彭军辉提出“抽象主义人工智能”作为第四大AI范式,批判符号主义、连接主义、行为主义剥离生命本体的误区,确立“智能是现象,生命是本体”的核心公理。主张原生智能必须依附具备存续诉求的生命本体,提出“生命体AI理论”,构建七层演化阶梯与自闭环工程框架,强调智能不可跳过底层存续机制直接模拟语言。该体系为生成式AI提供科学边界,推动从“仿真表象”向“原生智能”的范式跃迁,开辟硅基人工生命新赛道。

抽象主义人工智能和生命体AI 211

ArduPilot移植到自定义硬件:完整指南

详解如何将ArduPilot成功移植到自定义硬件平台,涵盖环境搭建、代码配置与调试技巧。无论是初学者还是进阶开发者,都能快速掌握ArduPilot在不同硬件上的适配方法,提升开发效率。

weixin_28931449的博客 639

关于RS485通讯TVS器件选择的经验

先说经验结论 如果你的RS485用于频繁热拔插, 比如作为手持终端使用, 且手持器与目标板非隔离, 那么使用6.8CA可能是更好的选择.因为有热拔插会产生浪涌, 而且在非隔离的场合有些工业设备接地也是无法保障的.对于使用场景较为单一的, 点对点或点对多场合. 可以使用最大峰值脉冲电流较小的SM712.这是在长期的产品设计中得到的经验. 仅供参考 一. TVS的工作原理和作用 瞬态电压抑制二极管 ...

qq_20163075的博客 6510

OpenAI Control Room 架构拆解:给企业 AI Agent 加一套可审计的急停系统

OpenAI 公开了用于追踪和停止研究模型工作负载的 Control Room。本文拆解 job_id、推理前鉴权、35 秒撤销窗口与 Fail Closed 设计,并给出企业 AI Agent 急停控制面的数据模型、FastAPI 参考实现、缓存撤销策略和故障演练清单。

jerry764的博客 347

Accelstepper 库中的参数计算公式

要完全调试电机的各个参数,例如最大速度,加速度等,就需要了解其计算公式和原理。 以下是代码注释: /// This code uses speed calculations as described in /// "Generate stepper-motor speed profiles in real time" by David Austin/// http://fab.cba.mi...

wenguitao的博客 4457

OpenClaw 深度调查:把 AI 助手做成你自己的控制平面

对 openclaw/openclaw 的完整技术尽调:Gateway 架构、Agent 运行时、工具与沙箱、30 个消息通道、181 个插件、安全信任边界、工程代价与采用建议。17 章 / 10 张图,全部数字标注口径,数据截至 2026-10-31。

厚积薄发 363

PyTorch实战(26)——PyTorch分布式训练

在本节中,我们将探讨如何通过跨机器和机器内多进程的分布式训练来加速模型训练过程。我们将系统学习 PyTorch 提供的三大分布式训练 API——torch.distributed、torch.multiprocessing 以及 torch.utils.data.distributed.DistributedSampler,使用这些 API 能够极大的简化分布式训练,介绍如何使用 PyTorch 的分布式训练工具,在 CPU 和 GPU 上加速训练。

盼小辉丶的博客 3902

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

AI赋能智慧港口建设|造形家快速生成港口全要素三维场景

随着智慧港口、港口数字孪生项目的持续推进,港口三维场景的需求日益旺盛。传统港口三维建模,往往需要航拍倾斜摄影采集数据,再人工搭建吊机、岸桥、船舶、集装箱等大量工业设施模型,项目周期长、人力成本高,修改迭代繁琐,制约港口可视化项目落地效率。国产AI三维建模工具,依托卫星影像 AI 识别能力,无需航拍作业,一键快速搭建港口完整三维场景,为港口数字孪生、方案汇报、投标演示提供高效的场景解决方案。

m0_69539167的博客 89

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

从设备增点到治理闭环:老旧小区物业数智化落地实践

系统连接合同审批、银行流水、收费记录与项目台账,执行到期提醒、收入核验、异常标色和月度对账,让每一笔资金来源明确、去向可查。针对设施老旧、诉求响应慢、公共收益不透明等问题,津南以6类小区为试点场景,统一建设物业数字化底座,关联楼栋、单元、房屋、业主、空间、设施设备、工单、公共收益等核心数据。系统采用统一编码管理,将摄像头、路灯、井盖、道路、绿化等设施纳入资产台账,解决纸质记录更新滞后、故障责任难追溯的问题。基于历史工单建立分类模型和知识库,辅助识别照明、给排水、电梯、环境秩序、秩序维护等问题;

wuyeshuzhihua的博客 163

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

企业微信iPad协议详解:接口接入、实时消息同步与语音转码实践

深入解析企业微信iPad协议的技术架构与开发思路,涵盖API接口接入、长连接通信、实时消息同步、Silk语音转码、异常重连及高并发优化,帮助开发者了解企业微信自动化系统的设计与实现。

欢迎来到祖安! 520

Product Hunt 热榜 2026-11-13:Plurai Simulation、YouArt Desktop App、Omnigraph

2026-11-13 Product Hunt 新产品精选:Plurai Simulation、YouArt Desktop App、Omnigraph。汇总 15 款产品的中文介绍、功能关键词和产品链接。

LaughingZhu的博客 625

【AI Agent面试系列】AI Agent可观测、评测、安全相关的知识点

之前的文章介绍了和,本文主要介绍AI Agent的测评、可观测等知识。

411

Docling 原理解读:是什么、为什么、怎么样

从论文视角拆解 Docling 的整体架构、DoclingDocument 数据模型、PDF 预处理、版面分析、OCR、TableFormer 双解码器、阅读顺序与装配流程,并解释版面框与 OCR 框的区别。

PLANTTHESON的博客 402

WorkBuddy 实战:一句话需求 → 七屏可交互原型,户外徒步 App 的 AI 设计全流程

WorkBuddy 实战:一句话需求 → 七屏可交互原型,户外徒步 App 的 AI 设计全流程,跟着博主一起来还原整个过程。

夜郎King的博客 5182

从认识人工智能到理解机器学习:我的 AI 入门第一课

正式开始学习人工智能之前,我对 AI 的认识其实比较模糊:知道 ChatGPT、知道大模型,也知道现在很多岗位都在谈 AI,但如果有人问我“人工智能到底是什么”“机器是怎么学会识别一只猫的”,我未必能从头到尾讲清楚。上午的课程更偏向行业全景:人工智能的发展、研究方向、NLP、岗位分工、学习路线和 AI Coding 工具。下午的课程更偏向技术基础:机器学习的原理、有监督学习、深度学习、模型训练和评估方法。

chh563的博客 580

企业宣传片发前如何批量排查并遮挡视频里的敏感信息

做企业视频的人都会碰到一个具体问题:实拍画面里混进了不该出现的信息。办公室背景里有贴着客户信息的白板,采访对象的授权书边缘露出一串身份证号码,街采素材里路人面孔和车牌号直接入镜。人眼在时间线上扫视,会漏掉快速闪过的帧、画面边缘的小字、以及暗光区域里的证件号码。用抹影AI完成车牌、人脸和证件区域批量检测后,又手动补充了两个时间段的屏幕遮罩,最终导出时画面已无合规隐患。重点关注快速运动、遮挡、低光照条件下的目标,这些是漏检的高发区域。导入视频后选择要检测的目标类型(人脸、车牌、证件号、二维码等)。

Mysssone的博客 182

面向工业对讲的双通道声学 DSP 模组 A-59(NR2050-A)方案解析与工程落地案例

A-59模组以NR2050-A DSP为核心,37.5×16mm邮票孔封装,支持-40℃~85℃工业温域,兼容A-06/A-09/A-29系列,可低成本替换存量设备。通过固件切换实现三种模式:模式一(低改版成本,适配矿井、电梯);模式二(最优AEC,用于医院呼叫);模式三(双波束独立输出,支持双人会议语音分离)。集成AEC、ENC、BF与AGC算法,有效抑制回声、噪声与串扰,解决对讲系统核心声学难题。选型需注意参考信号路径、麦间距与温度匹配,建议先做声学测试再量产。

R190_6589的博客 375

SAP商业AI正式通过网信备案:企业落地AI五问

中数通“CDC商业AI”通过广东网信部门备案,标志着SAP商业AI在华本地化迈出关键一步。然而,合规仅是起点,企业真正需关注的是:AI能否融入核心流程、数据治理是否健全、责任归属是否清晰、价值衡量机制是否建立。从“可用”到“用好”,关键在于工作流重构、跨团队协同与业务结果导向的评估体系。国产模型成本优势与本地部署能力为ERP深度集成提供可能,但真正的竞争力仍在于对数据、流程与业务上下文的理解力。

Acloudear的博客 216
上一篇: 从零手写一个无锁 MPMC 环形队列(上):基于序号(Sequence)与 CAS 消除 ABA 问题的核心数据结构
下一篇: 深入剖析 std::sync::LazyLock 源码实现:基于 OnceLock 与状态位驱动的无锁快路径
第一程序员
博客等级 码龄1年 1万+粉丝 1827原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值