bthread源码分析（十）进阶数据结构FileStatus

最新推荐文章于 2024-05-08 10:47:12 发布
原创 最新推荐文章于 2024-05-08 10:47:12 发布 · 245 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了一个用户态文件描述符机制——FileStatus。该机制通过在内存中为每个打开的文件描述符维护一个FileStatus对象来减少epoll_ctl的频繁调用。文章详细解释了bthread如何基于butex同步机制等待特定文件描述符，并通过EpollThread实现内核与用户态间的同步。

FileStatus在用户态维护一个文件描述符机制，设计这样一个数据结构有如下原因：

  • epoll_ctl开销大，不宜多次调用
  • 用户态butex同步机制，bthread可以基于butex的同步编程模式等待文件描述符

源码地址：bthread/file_status_monitor.h bthread/file_status_monitor.cpp

这里给出一个例子：

如图，每个打开的fd在内存中维护一个对应的FileStatus对象，bthread1在fd3上butex_wait，bthread2在fd4上butex_wait。Epoll Thread是pthread，负责将内核的fd状态同步到用户态。当fd3可读，Epoll Thread增加fd3对应FilsStatus的read_events并调用butex_wake，唤醒bthread1，bthread1得到调度后可以从fd3上读取数据

机器学习实战——疫情数据分析与预测
全网粉丝10w+，优快云、稀土掘金人工智能签约作者、专家博主，华为云十佳博主，985人工智能硕士。人工智能、大模型、计算机视觉、Python 爬虫— —商务合作：https://bbs.youkuaiyun.com/topics/614347534
07-27 10万+
机器学习如何做到疫情可视化——疫情数据分析与预测实战 本文将带领大家爬取11个国家以及中国31个省（自治区、直辖市）在2022.0101-2022.06.19的新冠疫情数据。并且采用机器学习模型对2022.6.20-2022.6.30每一天的全国确诊人数、死亡人数、治愈人数进行预测，**做出疫情可视化图形并且求出最终的相关系数R2！...
FileNotFoundError: [Errno 2] No such file or directory: ./data/siqa/train.jsonl解决方案
热门推荐
weixin_43178406的博客
05-02 7万+
本文主要介绍了FileNotFoundError: [Errno 2] No such file or directory: ./data/siqa/train.jsonl解决方案，希望能对同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
bthread源码分析（八）进阶数据结构bthread_id：以id关联data的同步机制
kdb_viewer的博客
04-20 486
bthread_id是一种同步机制，其思想是为需要同步的数据关联一个带版本管理的id，在这个id上做加锁、解锁等同步操作。bthread_id的同步操作在锁内进行，其效率比mutex低，也就是说bthread_id不能用做通用的同步机制，其适用于对一个对象进行一系列低冲突操作的场景，用于同步这些操作。 源码位置 bthread_id.h bthread_id.cpp id版本号管理 first_ver | * | * | ... | locked_ver -1| locked_ver | ..
bthread源码分析（二）ObjectPool && ResourcePool
kdb_viewer的博客
04-20 469
对象池存储固定大小的对象，针对多线程环境反复使用fixed size小对象的场景相比每次都new和delete有明显的性能提升。同时由于对象池不销毁对象的特性，极大简化了无锁编程中对象生命周期管理的问题。 源码位置：base/resource_pool.h base/resource_pool_inl.h base/object_pool.h base/object_pool_inl.h bthread提供对象池ObjectPool和资源池ResourcePool，两者的差异仅仅在于ResourcePo
brpc硬核篇-bthread协程源码分析(四)
最新发布
qq_18447271的博客
05-08 1538
brpc实现了M:N用户级线程，即N个pthread系统线程去调度执行M个协程（M远远大于N），一个pthread有其私有的任务队列，队列中存储等待执行的若干协程，一个pthread执行完任务队列中的所有协程后，也可以去其他pthread的任务队列中拿协程任务，即work-steal，这样的话如果一个协程在执行较为耗时的操作时，同一任务队列中的其他协程有机会被调度到其他pthread上去执行，从而实现了全局的最大并发，充分利用多核。
bthread源码分析（九）进阶数据结构 ExecutionQueue
kdb_viewer的博客
04-20 567
ExecutionQueue是一个多生产者-单消费者模型的工作队列，特性： wait-free，基于butex同步 队列元素数量无边界 没有daemon thread存在，消费者线程自动启动、自动销毁。当有任务加入队列，启动一个bthread持续消费队列并执行任务，直到队列为空，销毁这个bthread 提供有序性和优先级管理，高优先级任务先于低优先级任务执行，相同优先级内部任务按照FIFO顺序执行。高优先级任务不是即时抢占的，即若当前正在执行低优先级任务，那么高优先级任务插入不会抢占低优先级任务立刻
bthread(六) 小结
Hustle Everyday
04-01 1060
brpc内如何用的bthread 以epoll为例举例，epoll线程跑在bthread里，io bthread是按需起的（只要有读、写事件来就起一个，对于一个fd只起一个读线程和线程），用户回调也是跑在bthread 【Q1】如果在callback里阻塞整个worker，其他worker会偷过来运行，但是万一所有worker都被阻塞住，那就gg了。 【Q2】如果在callback里发起brpc，只会阻塞当前bthread，底层的worker不受影响，他发现后就移出rq，这时，这个callback
Hadoop源码分析 完整版 共55章
07-26
### Hadoop源码分析知识点概览 #### 一、Hadoop概述与背景 - **Google核心技术**：Hadoop的设计理念很大程度上受到了Google一系列核心技术的影响，包括Google File System (GFS)、BigTable以及MapReduce等。这些...
数据结构实验——哈夫曼编码
Anffen的博客
01-17 9232
目录 问题描述 基本要求 问题分析 实验代码 运行结果 实验总结 问题描述 利用哈夫曼编码进行通信可以大大提高信道利用率，缩短信息传输时间，降低传输成本。但是，这要求在发送端通过一个编码系统对待传数据预先编码，在接收端将传来的数据进行译码（复原）。对于双工信道（即可以双向传输信息的信道），每端都需要一个完整的编/译码系统。试为这样的信息收发编写一个哈夫曼码的编/译码系统。 基本要求 （1）接收原始数据（电文）：从终端输入电文（电文为一个字符串，假设仅由26个小写英文字母构成）。 （
数据结构实验：电话号码查询系统
littlekingw的博客
08-15 1万+
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、问题描述二、问题描述（1）选用的散列函数（2）散列因子（3）解决冲突的方法三、实验结果及分析（1）实验数据描述（2）实验结果（3）性能分析四、实验总结五、源代码（1）随机生成电话号码系统代码（2）电话号码查询系统代码 前言 记录下上学期的数据结构实验 本电话号码查询系统基于两种散列方法和两种解决冲突的方法实现 提示：以下是本篇文章正文内容，下面案例可供参考 一、问题描述 设计散列表，实现电话号码查找系统。设电话号码簿长度
对网络库协程的思考——读brpc有感
博客
05-24 537
bthread的作用之一：将Reactor中的同步IO改异步IO。 理论上Reactor效率不如Proactor，具体表现在虽然Reactor模型避免了等待可读/可写事件就绪的时间，但是read/write调用本身的时间是不可避免的（即内核缓冲区和用户缓冲区之间的数据拷贝是占用当前线程CPU时间的），而Proactor却可以避免这个时间，所以效率更高。 那么为什么说Proactor效率更高呢？虽然Proactor不需要等待read/write本身，但只是把读写处理时间转交给了操作系统内核线程，总的处理时间并
brpc源码解析（十七）—— bthread上的类futex同步组件butex详解
wxj1992的博客
01-24 3320
文章目录一、futex简介二、butex源码解析2.1 butex相关数据结构2.2 butex主要机制2.2.1 butex_wait2.2.2 butex_wake 我们知道在linux 下，锁和其他一些同步机制都会用到futex，futex诞生后扮演着非常重要的角色，可以说futex是linux底层最重要的同步手段之一，无论是pthread_mutex还是semaphore都用到了futex，bthread作为基于pthread实现的一套线程库，自然也需要类似的线程同步机制，用于在bhtread上进行
Hadoop的FileStatus简单使用
鲍礼彬的优快云博客 ~_~
04-01 5049
Hadoop的FileStatus简单使用 FileStatus类继承关系： FileStatus类的属性和方法： 输入文件信息： blb@hadoop1:/home/blb/blb$ hdfs dfs -text /user/blb/libin/input/inputpath1.txt hadoop a spark a hive a hbase
bthread源码分析（一）概述
kdb_viewer的博客
04-20 1288
bthread是一个M:N线程库，是brpc的核心组件。bthread实现了用户态上下文切换，主要有2个目标，一是降低编码难度，业务层可使用同步编程模式；二是在多核系统上取得更好的扩展性和局部性，提供更低的延时，更高的cpu利用率。 bthread和协程 谈到bthread，就不得不提协程。首先要强调的一点是，bthread不是协程。一般上我们说的协程的概念是M:1线程库，多个协程跑在一个底层pthread上，一个协程阻塞就会导致协程所在的pthread阻塞，进而该pthread上的其他协程都无法被调度
HDFS_FileStatus类介绍
底层码农
03-01 1万+
FileSystem api:http://hadoop.apache.org/docs/current/api/org/apache/hadoop/fs/FileSystem.html FileStatus api:http://hadoop.apache.org/docs/current/api/org/apache/hadoop/fs/FileStatus.html FileStatu...
redis缓存机制
kdb_viewer的博客
08-06 1万+
redis提供了三种缓存机制，LFU，LRU，TTL 1.LFU，least frequently used，即最小使用频率淘汰，每个对象使用共计24bit空间用来实施这个算法，24bit分成2个部分，前16bit用来记录上次减少时间（减少的是后面8bit计数器），后面8个bit是一个对数计数器，用来记录这个对象的访问次数。需要注意的是，这个字段不是一直增加的，也需要减少，否则会出现一个情况，一...
C语言访问redis
kdb_viewer的博客
08-24 1665
redis采用源码或者二进制文件安装方式，启动服务，如下： ps aux | grep redis root 4772 0.0 0.0 103184 856 pts/0 S+ 09:02 0:00 grep redis root 20639 0.1 0.1 143908 7660 ? Ssl Aug08 37:57 /usr/lo...
redis基础数据结构（六） 基数统计
kdb_viewer的博客
06-22 1610
基数统计即统计一个数据集中不重复元素的个数，一种显然的实现是使用不相交集，缺陷是随着数据增加内存占用线性增加，海量数据下不可用；一种更常见的方法是使用B-树，所有数据在叶子节点保存，叶子节点在磁盘中，上层节点在内存中，因此占用内存的问题得到解决，查找时间O(logN)，但是读取磁盘开销太大；最完美的方法是使用bitmap，因为bit是最小存储空间，可以保证内存占用最小。以上都是准确基数排序的方法，...
GFS（google file system）深度剖析
kdb_viewer的博客
04-24 1529
目录 架构 一致性模型 系统交互 快照 master节点管理 文件锁 文件删除 过期失效的副本检测 高可用 数据完整性 架构 gfs(google file system)包含一个master节点和若干个chunk server。master节点维护元数据，chunk server存储实际数据。访问gfs通过client进行，client通过lib的形式集成在用户程序中，先访问master节点获取要访问文件所在的chunk节点地址，然后访问chunk server操作数据。.
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值