
linux操作系统:io系统
文章平均质量分 77
以Linux IO栈为架构,按照IO栈流程整理自己平时工作学习遇到的疑惑,在Linux 探索的道路上不断进步
z_stand
远离颠倒梦想,究竟涅槃
展开
-
关于 linux io_uring 性能测试 及其 实现原理的一些探索
从 io_uring on fio / rocksdb的一些测试记录 来体会io_uring的性能优势,从 io_uring 非poll 模式 以及 poll 模式的实现来看其性能优势以及发展前景。原创 2021-09-11 11:53:25 · 3801 阅读 · 4 评论 -
blktrace 工具集使用 及其实现原理
blktrace,blkparse,btrace,btt,blkiomon,iowather 综合使用,及blktrace 如何通过linux 的trace_event追踪内核请求实现原理。原创 2021-04-30 15:39:03 · 4467 阅读 · 1 评论 -
一图带你入门Linux 存储I/O栈
发现了一个内核大佬 的 Linux 存储I/O栈,很清晰!!!原地址如下:http://ilinuxkernel.com/?p=1559【侵删】转载 2021-04-14 21:32:25 · 864 阅读 · 0 评论 -
磁盘I:O 性能指标 以及 如何通过 fio 对nvme ssd,optane ssd, pmem 性能摸底
文章目录1. 磁盘I/O性能指标1.1 性能指标1.2 I/O 观测1.2.1 磁盘I/O 观测1.2.2 进程I/O观测2. Fio 性能测试2.1 环境准备2.2 测试维度选择2.3 测试2.3.1 optane ssd和nvme ssd性能测试2.3.2 aep性能测试(intel persistent memory)真正测试之前 我们需要清楚 评判磁盘I/O性能 是通过哪一些指标以及以查看相关指标的工具,这样在实际测试以及生产环境中才能对磁盘I/O性能又有一个全面而正确的评估。本文并没有对文中原创 2020-12-09 00:37:54 · 6338 阅读 · 0 评论 -
HDD工作原理 导图
以上导图介绍了我们使用的 (HDD)机械硬盘的基本构造以及核心工作原理,对于大家扫盲有所帮助参考文档:https://blog.youkuaiyun.com/yizhaoxin/article/details/53615740...原创 2020-01-05 11:07:29 · 1594 阅读 · 0 评论 -
分布式存储(ceph)技能图谱(持续更新)
一下为个人结合其他人对分布式存储 所需的技能进行总结,绘制成如下图谱,方便针对性学习。这里对分布式存储系统接触较多的是ceph,所以在分布式存储系统分治上偏向ceph的学习。如有分类有问题或者分支不合理,欢迎大家批评指正,目的是为了大家共同提升...原创 2019-11-21 13:07:54 · 4135 阅读 · 0 评论 -
linux 文件IO与内存映射:内存映射
前言前面几篇我们学习了用户空间的IO缓冲区,以及IO缓冲区的分散聚合IO技术.为了减少系统调用的次数,提升系统性能,操作系统开发者门提出了这么多的缓存技术。但是到这里这些技术同样有不足的地方:不论是读或者写文件,都需要将内容拷贝到IO缓冲区以及页高速缓冲区,这就增加了数据拷贝的次数,无形之中增加了CPU和内存的开销。有没有一种办法既可以减少系统调用的次数同时又可以降低数据的拷贝次数呢?这里...原创 2019-10-07 15:13:43 · 930 阅读 · 0 评论 -
linux文件IO与内存映射:分散/聚集IO技术(scatter-gather)
前言根据上文我们学习到的用户空间的IO缓冲区,操作系统为了减少系统调用的次数,节省系统开销,提出了用户空间的IO缓冲区,即为用户空间的文件读写开辟一段可以利用setvbuf配置大小的内存空间来作为文件IO缓冲区。描述为了在以上IO缓冲区的基础上更进一步得减少系统调用的次数,提出了分散/聚合IO技术,总体上是使用了单个向量的IO操作代替了多个向量的IO操作。读文多个件的时候将从page c...原创 2019-10-06 21:28:41 · 2567 阅读 · 0 评论 -
linux文件IO与内存映射:用户空间的IO缓冲区
文章目录用户空间IO缓冲区产生IO缓冲区 描述IO缓冲区的写模式自定义IO缓冲区用户空间IO缓冲区产生系统调用过程中会产生的开销如下:切换CPU到内核态进行数据内容的拷贝,从用户态到内核态或者从内核态到用户态切换CPU到用户态以上为普通到系统调用过程中操作系统需要产生的额外开销,为了提升系统调用的性能,这里推出用户空间的IO缓冲区,即文件读写在用户空间时写入IO缓冲区,后续的写入或...原创 2019-10-06 20:09:04 · 1268 阅读 · 0 评论 -
linux 文件IO与内存映射:page cache页高速缓存
描述:页高速缓存(page cache)是从实际物理内存中开辟出来一部分内存空间,用作操作系统的磁盘读写缓存。比如客户端写入的数据并不直接写入磁盘,而是写入到这一段物理内存中即代表已经写完,这样由内存本身的高速读写性能是能够提升系统整体io性能。基本管理单位:页原理:页高速缓存的淘汰原理是根据:时间局部原理,空间局部原理;即最长时间未被访问(时间局部性)或者被进程引用次数最少(空间局部性)...原创 2019-10-06 16:13:26 · 1715 阅读 · 0 评论