bthread源码分析（十）进阶数据结构FileStatus

最新推荐文章于 2024-05-08 10:47:12 发布
原创 最新推荐文章于 2024-05-08 10:47:12 发布 · 245 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了一个用户态文件描述符机制——FileStatus。该机制通过在内存中为每个打开的文件描述符维护一个FileStatus对象来减少epoll_ctl的频繁调用。文章详细解释了bthread如何基于butex同步机制等待特定文件描述符，并通过EpollThread实现内核与用户态间的同步。

FileStatus在用户态维护一个文件描述符机制，设计这样一个数据结构有如下原因：

  • epoll_ctl开销大，不宜多次调用
  • 用户态butex同步机制，bthread可以基于butex的同步编程模式等待文件描述符

源码地址：bthread/file_status_monitor.h bthread/file_status_monitor.cpp

这里给出一个例子：

如图，每个打开的fd在内存中维护一个对应的FileStatus对象，bthread1在fd3上butex_wait，bthread2在fd4上butex_wait。Epoll Thread是pthread，负责将内核的fd状态同步到用户态。当fd3可读，Epoll Thread增加fd3对应FilsStatus的read_events并调用butex_wake，唤醒bthread1，bthread1得到调度后可以从fd3上读取数据

100天精通Python（数据分析篇）——第50天：numpy进阶（数组操作、常用方法）
努力让自己发光，对的人才能迎着光而来
08-08 13万+
一、数组操作 1. 查看数据形状 2. 修改数组形状 3. 数组和数的计算 4. 数组和数组的计算 5. 数组中的转置 6. 数组的拼接 7. 数组的行列交换 8. 数组中的clip(裁剪) 9. 数组中数值的修改 二、numpy常用方法 1. 小技巧 2. 生成随机数 3. 注意点copy和view.........
Android15音频进阶之AudioReach架构agmplay bringup调试(一百二十二)
最新发布
Android系统攻城狮
06-09 2783
本篇目的：Android15音频进阶之AudioReach架构agmplay播放调试。
bthread源码分析（八）进阶数据结构bthread_id：以id关联data的同步机制
kdb_viewer的博客
04-20 486
bthread_id是一种同步机制，其思想是为需要同步的数据关联一个带版本管理的id，在这个id上做加锁、解锁等同步操作。bthread_id的同步操作在锁内进行，其效率比mutex低，也就是说bthread_id不能用做通用的同步机制，其适用于对一个对象进行一系列低冲突操作的场景，用于同步这些操作。 源码位置 bthread_id.h bthread_id.cpp id版本号管理 first_ver | * | * | ... | locked_ver -1| locked_ver | ..
bthread源码分析（二）ObjectPool && ResourcePool
kdb_viewer的博客
04-20 469
对象池存储固定大小的对象，针对多线程环境反复使用fixed size小对象的场景相比每次都new和delete有明显的性能提升。同时由于对象池不销毁对象的特性，极大简化了无锁编程中对象生命周期管理的问题。 源码位置：base/resource_pool.h base/resource_pool_inl.h base/object_pool.h base/object_pool_inl.h bthread提供对象池ObjectPool和资源池ResourcePool，两者的差异仅仅在于ResourcePo
brpc硬核篇-bthread协程源码分析(四)
qq_18447271的博客
05-08 1538
brpc实现了M:N用户级线程，即N个pthread系统线程去调度执行M个协程（M远远大于N），一个pthread有其私有的任务队列，队列中存储等待执行的若干协程，一个pthread执行完任务队列中的所有协程后，也可以去其他pthread的任务队列中拿协程任务，即work-steal，这样的话如果一个协程在执行较为耗时的操作时，同一任务队列中的其他协程有机会被调度到其他pthread上去执行，从而实现了全局的最大并发，充分利用多核。
bthread源码分析（九）进阶数据结构 ExecutionQueue
kdb_viewer的博客
04-20 567
ExecutionQueue是一个多生产者-单消费者模型的工作队列，特性： wait-free，基于butex同步 队列元素数量无边界 没有daemon thread存在，消费者线程自动启动、自动销毁。当有任务加入队列，启动一个bthread持续消费队列并执行任务，直到队列为空，销毁这个bthread 提供有序性和优先级管理，高优先级任务先于低优先级任务执行，相同优先级内部任务按照FIFO顺序执行。高优先级任务不是即时抢占的，即若当前正在执行低优先级任务，那么高优先级任务插入不会抢占低优先级任务立刻
bthread(六) 小结
Hustle Everyday
04-01 1060
brpc内如何用的bthread 以epoll为例举例，epoll线程跑在bthread里，io bthread是按需起的（只要有读、写事件来就起一个，对于一个fd只起一个读线程和线程），用户回调也是跑在bthread 【Q1】如果在callback里阻塞整个worker，其他worker会偷过来运行，但是万一所有worker都被阻塞住，那就gg了。 【Q2】如果在callback里发起brpc，只会阻塞当前bthread，底层的worker不受影响，他发现后就移出rq，这时，这个callback
Hadoop源码分析 完整版 共55章
07-26
### Hadoop源码分析知识点概览 #### 一、Hadoop概述与背景 - **Google核心技术**：Hadoop的设计理念很大程度上受到了Google一系列核心技术的影响，包括Google File System (GFS)、BigTable以及MapReduce等。这些...
MOOC浙大数据结构课后题记录——PTA数据结构题目集(全)
cos的博客
07-05 1万+
本博客是为了记录学习数据结构时做的题集，若代码有疏漏欢迎指出！ ps：因为已经学过c++了所以就都用c++写了。
Hadoop源码分析——数据节点写数据1
lfdanding的专栏
06-22 6923
即使不考虑数据节点出错后的故障处理，文件写入也是HDFS中最复杂的流程。本章以创建一个新文件并向文件中写入数据，然后关闭文件为例，分析客户端写文件时系统各节点的配合，如下图所示。 客户端调用DistributedFileSystem的create（）方法创建文件，上图的步骤1，这时，DistributedFileSystem创建DFSOutputStream，并由远程过程调用，让名字节点执行同名
对网络库协程的思考——读brpc有感
博客
05-24 537
bthread的作用之一：将Reactor中的同步IO改异步IO。 理论上Reactor效率不如Proactor，具体表现在虽然Reactor模型避免了等待可读/可写事件就绪的时间，但是read/write调用本身的时间是不可避免的（即内核缓冲区和用户缓冲区之间的数据拷贝是占用当前线程CPU时间的），而Proactor却可以避免这个时间，所以效率更高。 那么为什么说Proactor效率更高呢？虽然Proactor不需要等待read/write本身，但只是把读写处理时间转交给了操作系统内核线程，总的处理时间并
brpc源码解析（十七）—— bthread上的类futex同步组件butex详解
wxj1992的博客
01-24 3320
文章目录一、futex简介二、butex源码解析2.1 butex相关数据结构2.2 butex主要机制2.2.1 butex_wait2.2.2 butex_wake 我们知道在linux 下，锁和其他一些同步机制都会用到futex，futex诞生后扮演着非常重要的角色，可以说futex是linux底层最重要的同步手段之一，无论是pthread_mutex还是semaphore都用到了futex，bthread作为基于pthread实现的一套线程库，自然也需要类似的线程同步机制，用于在bhtread上进行
Hadoop的FileStatus简单使用
鲍礼彬的优快云博客 ~_~
04-01 5049
Hadoop的FileStatus简单使用 FileStatus类继承关系： FileStatus类的属性和方法： 输入文件信息： blb@hadoop1:/home/blb/blb$ hdfs dfs -text /user/blb/libin/input/inputpath1.txt hadoop a spark a hive a hbase
bthread源码分析（一）概述
kdb_viewer的博客
04-20 1288
bthread是一个M:N线程库，是brpc的核心组件。bthread实现了用户态上下文切换，主要有2个目标，一是降低编码难度，业务层可使用同步编程模式；二是在多核系统上取得更好的扩展性和局部性，提供更低的延时，更高的cpu利用率。 bthread和协程 谈到bthread，就不得不提协程。首先要强调的一点是，bthread不是协程。一般上我们说的协程的概念是M:1线程库，多个协程跑在一个底层pthread上，一个协程阻塞就会导致协程所在的pthread阻塞，进而该pthread上的其他协程都无法被调度
HDFS_FileStatus类介绍
底层码农
03-01 1万+
FileSystem api:http://hadoop.apache.org/docs/current/api/org/apache/hadoop/fs/FileSystem.html FileStatus api:http://hadoop.apache.org/docs/current/api/org/apache/hadoop/fs/FileStatus.html FileStatu...
redis缓存机制
热门推荐
kdb_viewer的博客
08-06 1万+
redis提供了三种缓存机制，LFU，LRU，TTL 1.LFU，least frequently used，即最小使用频率淘汰，每个对象使用共计24bit空间用来实施这个算法，24bit分成2个部分，前16bit用来记录上次减少时间（减少的是后面8bit计数器），后面8个bit是一个对数计数器，用来记录这个对象的访问次数。需要注意的是，这个字段不是一直增加的，也需要减少，否则会出现一个情况，一...
C语言访问redis
kdb_viewer的博客
08-24 1665
redis采用源码或者二进制文件安装方式，启动服务，如下： ps aux | grep redis root 4772 0.0 0.0 103184 856 pts/0 S+ 09:02 0:00 grep redis root 20639 0.1 0.1 143908 7660 ? Ssl Aug08 37:57 /usr/lo...
redis基础数据结构（六） 基数统计
kdb_viewer的博客
06-22 1610
基数统计即统计一个数据集中不重复元素的个数，一种显然的实现是使用不相交集，缺陷是随着数据增加内存占用线性增加，海量数据下不可用；一种更常见的方法是使用B-树，所有数据在叶子节点保存，叶子节点在磁盘中，上层节点在内存中，因此占用内存的问题得到解决，查找时间O(logN)，但是读取磁盘开销太大；最完美的方法是使用bitmap，因为bit是最小存储空间，可以保证内存占用最小。以上都是准确基数排序的方法，...
GFS（google file system）深度剖析
kdb_viewer的博客
04-24 1529
目录 架构 一致性模型 系统交互 快照 master节点管理 文件锁 文件删除 过期失效的副本检测 高可用 数据完整性 架构 gfs(google file system)包含一个master节点和若干个chunk server。master节点维护元数据，chunk server存储实际数据。访问gfs通过client进行，client通过lib的形式集成在用户程序中，先访问master节点获取要访问文件所在的chunk节点地址，然后访问chunk server操作数据。.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值