磁盘io的一些知识和总结

DiffusionDrive实战:如何用截断扩散模型3个月搞定自动驾驶轨迹规划(附代码) 本文详细介绍了如何利用DiffusionDrive截断扩散模型,在三个月内快速构建端到端的自动驾驶轨迹预测系统。内容涵盖从环境搭建、数据处理、模型架构解析到训练调参和推理优化的完整实战流程,并提供了关键代码示例,旨在帮助开发者高效实现高质量的自动驾驶轨迹规划。 阅读详情

读/写IO,最为常见说法,读IO,就是发指令,从磁盘读取某段扇区的内容。指令一般是通知磁盘开始扇区位置,然后给出需要从这个初始扇区往后读取的连续扇区个数,同时给出动作是读,还是写。磁盘收到这条指令,就会按照指令的要求,读或者写数据。控制器发出的这种指令+数据,就是一次IO,读或者写。


大/小块IO,指控制器的指令中给出的连续读取扇区数目的多少,如果数目很大,比如128,64等等,就应该算是大块IO,如果很小,比如1, 4,8等等,就应该算是小块IO,大块和小块之间,没有明确的界限。

连续/随机IO,连续和随机,是指本次IO给出的初始扇区地址,和上一次IO的结束扇区地址,是不是完全连续的,或者相隔不多的,如果是,则本次IO应该算是一个连续IO,如果相差太大,则算一次随机IO。连续IO,因为本次初始扇区和上次结束扇区相隔很近,则磁头几乎不用换道或换道时间极短;如果相差太大,则磁头需要很长的换道时间,如果随机IO很多,导致磁头不停换道,效率大大降底。

顺序/并发IO,这个的意思是,磁盘控制器每一次对磁盘组发出的指令套(指完成一个事物所需要的指令或者数据),是一条还是多条。如果是一条,则控制器缓存中的IO队列,只能一个一个的来,此时是顺序IO;如果控制器可以同时对磁盘组中的多块磁盘,同时发出指令套,则每次就可以执行多个IO,此时就是并发IO模式。并发IO模式提高了效率和速度。

IO并发几率。单盘,IO并发几率为0,因为一块磁盘同时只可以进行一次IO。对于raid0,2块盘情况下,条带深度比较大的时候(条带太小不能并发IO,下面会讲到),并发2个IO的几率为1/2。其他情况请自行运算。

IOPS
( (Input/Output Operations Per Second))。一个IO所用的时间=寻道时间+数据传输时间。 IOPS=IO并发系数/(寻道时间+数据传输时间),由于寻道时间相对传输时间,大几个数量级,所以影响IOPS的关键因素,就是降底寻道时间,而在连续IO的情况下,寻道时间很短,仅在换磁道时候需要寻道。在这个前提下,传输时间越少,IOPS就越高。

每秒IO吞吐量。显然,每秒IO吞吐量=IOPS乘以平均IO SIZE。 Io size越大,IOPS越高,每秒IO吞吐量就越高。设磁头每秒读写数据速度为V,V为定值。则IOPS=IO并发系数/(寻道时间+IO SIZE/V),代入,得每秒IO吞吐量=IO并发系数乘IO SIZE乘V/(V乘寻道时间+IO SIZE)。我们可以看出影响每秒IO吞吐量的最大因素,就是IO SIZE和寻道时间,IO SIZE越大,寻道时间越小,吞吐量越高。相比能显著影响IOPS的因素,只有一个,就是寻道时间。


寻道时间指的是硬盘的平均寻道时间(Average Seek Time),是指硬盘在接收到系统指令后,磁头从开始移动到移动到数据所在磁道所需要的平均时间,单位为毫秒(ms)。这是衡量硬盘的一个重要参数,其数值越小,则性能越好。现在主流的硬盘的寻道时间都在10ms左右或以下。

从原理上解释上面的表象,一般来说,硬盘读取数据的过程是这样的,首先是将磁头移动到磁盘上数据所在的区域,然后才能进行读取工作。磁头移动的过程又可以 分解为两个步骤,其一是移动磁头到指定的磁道,也就是寻道,这是一个在磁盘盘片径向上移动的步骤,花费的时间被称为“寻道时间”;其二就是旋转盘片到相应 扇区,花费的时间被称为“潜伏时间”(也被称为延迟)。那么也就是说在硬盘上读取数据之前,做准备工作上需要花的时间主要就是“寻道时间”和“潜伏时间” 的总和。真正的数据读取时间,是由读取数据大小和磁盘密度、磁盘转速决定的固定值,在应用层没有办法改变,但应用层缺可以通过改变对磁盘的访问模式来减少“寻道时间”和“潜伏时间”, 我们上面提到的在应用层使用cache然后排序的方式,无疑就是缩短了磁盘的寻址时间。由于磁头是物理设备,也很容易理解,为什么中间插入对其他小文件的读写会导致速度变慢很多。


目前磁盘都是机械方式运作的,主要体现在磁盘读写前寻找磁道的过程。磁盘自带的读写缓存大小,对于磁盘读写速度至关重要。读写速度快的磁盘,通常都带有较大的读写缓存。磁盘的寻道过程是机械方式,决定了其随机读写速度将明显低于顺序读写。在我们做系统设计和实现时,需要考虑到磁盘的这一特性。

目前磁盘顺序读取的速度并不差,比如普通硬盘的IO可以达到每秒40~60MB,好一些的硬盘可以达到每秒100MB左右。在多进程或多线程并发读取磁盘的情况下,随着并发数的增加,磁盘IO效率将大大下降。主要是因为每次读写,磁道可能存在较大的偏移,磁道寻址时间加大,导致磁盘IO性能急剧下降。对于这种场景,优化方案是尽可能减少并发读写的进程数或线程数。可以用锁的机制,也可以采用专门的磁盘IO线程来对磁盘进行读写。

    文件数多了之后,比如达到上千万个文件,当随机访问众多文件时,文件系统的性能会急剧下降。业界流行的做法是将多个小文件合并存储到一个大文件中的方式来降低文件数。

提升磁盘IO的另外一个技巧,一次尽可能多写入或多读取。也就是说,将程序的读写buffer设置得尽可能大一些。例如日志或者redo log的写入,不是每次调用都直接写磁盘,而是先缓存到内存中,等buffer满了再写入磁盘,也可以定时写入磁盘。


2. 多线程随机读、处理速度、响应时间

多线程随机读的处理速度可以达到单线程随机读的10倍以上,但同上也带来了响应时间的增大。测试结论如下:(每个线程尽量读)



结论标明增加线程数,可以有效的提升程序整体的io处理速度。但同时,也使得每个io请求的响应时间上升很多。

从底层的实现上解释这个现象:应用层的io请求在内核态会加入到io请求队列里面。内核在处理io请求的时候,并不是简单的先到先处理,而是根据磁盘的特 性,使用某种电梯算法,在处理完一个io请求后,会优先处理最临近的io请求。这样可以有效的减少磁盘的寻道时间,从而提升了系统整体的io处理速度。但对于每一个io请求来看,由于可能需要在队列里面等待,所以响应时间会有所提升。

响应时间上升,应该主要是由于我们测试的时候采用每个线程都尽量读的方式。在实际的应用中,我们的程序都没有达到这种压力。所以,在io成为瓶颈的程序里面,应该尽量使用多线程并行处理不同的请求。对于线程数的选择,还需要通过性能测试来衡量。

OBS技术深度剖析:从开源直播工具到专业制作引擎的进化之路 本文深入剖析了开源直播软件OBS的技术架构与发展历程。从2012年诞生至今,OBS已成长为直播领域的事实标准,其成功源于模块化设计和开源协作模式。文章详细解析了OBS的核心技术:1) 分层架构与插件系统,2) GPU加速的渲染管线,3) 智能音频处理,4) 多平台编码优化。同时探讨了虚拟摄像头、浏览器源等高级功能的实现原理,并提供了性能优化方案和硬件配置建议。随着AI、WebRTC等新技术发展,OBS将持续引领实时内容创作工具的创新,为开发者和创作者提供更强大的技术支持。 阅读详情

相关推荐

cutlass2.x源码解读之PitchLinearStripminedThreadMap

TensorCoord:使用layout::PitchLinearCoord作为张量坐标。Shape:使用模板参数Shape_作为tile的形状,kThreads:线程总数,定义为模板参数Threads。kElementsPerAccess:每次访问的元素数,定义为模板参数ElementsPerAccess。ThreadAccessShape:线程访问的形状,使用layout::PitchLinearShape定义。内部实现细节:ShapeVec。

jiangjkd的专栏 790

硬盘I/O性能 | 机械硬盘

大家好,我是jiantaoyab,在开发应用系统的时候,遇到的性能瓶颈大部分都在 I/O 上。这是我作为学习笔记的23篇,本篇文章大家我们就来看看硬盘 I/O 性能。

欢迎来到jiantaoyab博客 2950

DDR5电流三参数IDD/IDDQ/IPP实操解析与产线避坑指南

DRAM芯片功耗测试中,IDD(动态工作电流)、IDDQ(静态待机电流)和IPP(峰值上电电流)是表征其电气健康状态的三大基础物理量。它们分别对应晶体管开关翻转、亚阈值漏电及电源网络瞬态响应等不同层级的半导体物理机制,共同构成JEDEC JESD79-5标准第11章的核心验证体系。理解这三类电流的产生原理,不仅关乎芯片能否通过量产门槛,更直接影响系统级电源完整性、高温稳定性与长期可靠性。在服务器、AI加速卡及车载计算等高负载场景下,微小的IDDQ漂移或IPP尖峰失真,都可能引发蓝屏、热失控甚至冷机启动失败。

weixin_29183637的博客 358

22. 磁盘I/O问题

1. 磁盘I/O问题 作为应用系统的持久化层,不管数据库采取了什么样的 Cache 机制,但数据库最终总是要将数据储存到可以长久保存的I/O设备──磁盘上,但磁盘的存取速度显然要比CPU、RAM 的速度慢很多,因此,对于比较大的数据库,磁盘 I/O 一般总会成为数据库的一个性能瓶颈! 我们前面提到的 SQL 优化、数据库对象优化、数据库参数优化,以及应用程序优化等,大部分都是想通过减少或延缓磁盘读写来减轻磁盘 I/O 的压力及其对性能的影响。解决磁盘 I/O 问题,减少或延缓磁盘操作肯定是一个重要方面,但磁

monkeylvjava 217

【Collibra 驱动 IPD 数据血缘治理】:三层图谱分层展示体系与全链路追踪的技术业务实践

(应用级/数据级/字段级)是理解复杂数据流动的核心手段。其价值不仅体现在可视化的直观性,更在于通过。技术保障血缘不可篡改性,进一步提升IPD数据治理的可靠性。,解决了跨层级血缘分析的性能与可用性矛盾。数据血缘图谱要素定义(字节跳动/腾讯云/信安标委)实现对IPD数据的精准追踪,而数据血缘图谱的。分层交互设计标准(智慧城市数据中台规范)Collibra技术文档(2024)字段级血缘的挑战与解决路径。自动优化血缘路径,并深化。字段级血缘技术实现方案。Collibra通过。图数据库性能优化原理。

百态·数智思维 | 聚焦大数据、量化与未来AI 1244

前端开发 - 完美解决video.js和flv.js视频同时播放数量限制的问题,即浏览器针对同一域名的请求限制问题(解决flv.js/video.js在页面播放最多不超过6个问题、浏览器并发请求限制数

flv.js,video.js,vue,reactive,uniapp,前端开发,flv视频同时播放有限制怎么办,浏览器限制多个视频同时播放怎么办,使用flv.js在前端播放,最多只能播放6个视频,突破浏览器域名并发限制,如何解决flvjs与videojs视频播放同时播放数量限制,video.js 一个页面同时播放多个视频的实例代码,解决网页视频最大只能播放6路的问题,浏览器只能播放6路http-flv流的解决方法,一个浏览器播放5个或者6个flv的视频就不能播放了,video.js 无法在页面同时播放多个

✅ 精选推荐文章 4998

Linux磁盘IO详解及常用命令介绍

在Linux系统中,磁盘IO是一种关键的性能因素,它影响着系统的响应速度和数据处理能力。本文将详细介绍Linux磁盘IO的概念、性能指标以及机械硬盘和SSD硬盘的IO差异。一、Linux磁盘IO概述Linux磁盘IO是通过文件系统来执行的,每个文件都被映射为一个文件描述符,通过这个描述符可以执行读写操作。磁盘IO的性能受到硬件性能、系统配置、应用程序等多种因素的影响。二、Linux磁盘IO性能指标...

fastboot 1472

【爬虫实战】Instagram博主图片爬取:模拟登录+滚动加载,轻松抓取高清美图

在当今社交媒体时代,Instagram作为全球最受欢迎的图片分享平台之一,汇聚了无数优质博主的海量精美图片。对于数据爱好者、营销分析师、AI训练数据收集者来说,如何高效、稳定地爬取Instagram博主的图片,成为了一项极具实用价值的技术挑战。然而,Instagram的反爬机制日益严格,传统的静态页面请求已经无法满足需求。本文将带你从零开始,使用2024-2025年最新技术栈,实现模拟登录、滚动加载、高清图片下载的全流程爬虫。✅ 全流程代码可直接运行✅ 模拟手机端请求绕过反爬。

2201_76125261的博客 598

从磁盘看 IO

磁盘IO

weixin_70280523的博客 1855

PyCharm安装PyQt5及工具详细教程

PyCharm是一款功能强大的Python集成开发环境(IDE),而PyQt5是一个用于创建GUI应用程序的流行Python库。在本教程中,我将指导您如何在PyCharm中安装PyQt5及其相关工具,并提供相应的源代码示例。安装完成后,启动PyCharm并创建一个新的项目。为了隔离项目的依赖项,我们建议在PyCharm中使用虚拟环境。在创建项目的过程中,您可以选择创建新的虚拟环境或使用现有的环境。根据您的操作系统,选择适当的版本并按照安装向导的指示进行安装。首先,您需要下载并安装PyCharm。

CfProgram的博客 589

华为od统一考试B卷【单词搜索】C++ 实现

找到它是一个小游戏,你需要在一个矩阵中找到给定的单词。假设给定单词 HELLOWORD,在矩阵中只要能找到 H->E->L->L->O->W->O->R->L->D连成的单词,就算通过。意区分英文字母大小写,并且您只能上下左右行走,不能走回头路。

MISAYAONE的博客 714

磁盘IO性能分析

一、IO性能分析 1.1 IO性能、顺序访问和随机访问 如果去看硬盘厂商的性能报告,通常你会看到两个指标; 一个是响应时间(Response Time); 另一个叫作数据传输率(Data Transfer Rate),数据传输率也称吞吐率。 1.1.1 数据传输率 我们先来看一看后面这个指标,数据传输率。 我们现在常用的硬盘有两种; 一种是HDD(Hard Disk Drive)硬盘,也就...

Graceful_scenery的博客 3601

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

vue开发中,数据更新,但视图不刷新

我们在开发过程中会碰到数据更新,但是视图并未改变的情况,情况如下:第一种:动态给对象新增属性或者删除属性是不会触发视图刷新的,Vue识别不到;第二种:通过数组下标修改数组中的元素或者手动修改数组的长度,Vue识别不到;**解决方法1:静默刷新(使用v-if的特性) 在修改值之后将元素销毁,然后在修改后的下一次DOM渲染完成时再显示出来,这样就会触发组件重新加载data的数据进行渲染,data中被修改的数据才是最新的。 解决方法2:Vue.$set(官方推荐) 使用这个api修改的数据会为其添加响应式gett

Quentin0823的博客 3万+

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

Vue2 和 Vue3 视图更新失败的常见原因及解决方案

在前端开发中,Vue 的响应式系统是其核心特性之一。然而,在使用 Vue 时,开发者往往会遇到视图更新失败的情况。本文将详细分析 Vue2 和 Vue3 中视图更新失败的常见原因,并提供解决方案,帮助开发者更好地理解 Vue 的响应式原理 🔧。

qq_43771593的博客 1224

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

Vue数据更新了但是视图不更新

然而,在某些情况下,Vue可能无法检测到数据的变化,因此不会触发重新渲染,使用。最近在发生了一件很奇怪的事,明明Vue中data的数据已经更新了,但是页面渲染出来的内容并没有跟随着更新,包括使用elemeUI的时候也有这种情况!通过集成各家所讲,本人简单罗列了可能是以下原因导致的,当然,每个人遇到的情况不一样,甚至还会遇到更加邪门的事情,还需要根据自己的实际情况去排查。Vue在更新DOM时是异步执行的。首先在控制台中打印出最后更新的数据,得出的结果是正确的,也就是说在js中并没有存在处理上的问题。

m0_61841474的博客 5739

Vue中更新数组而不触发页面刷新的解决方案

您之前询问过"为什么数组更新后页面没有更新",了解到这是因为导致框架无法检测数据变化。现在您想进一步了解在Vue中如何实现数组更新而不触发页面刷新的方法。

m0_49471668的博客 1111

解析Vue数据/数组对象改变视图不更新

先来解决问题 :当我们数据发生变化,视图却没有变化时,三种方法 1. 使用$set 此时我们需要知道Vue.set()需要哪些参数,官方API:Vue.set() 调用方法:Vue.set( target, key, value ) target:要更改的数据源(可以是对象或者数组) key:要更改的具体数据 value :重新赋的值 this.$set(this.arr[k...

杨大刚的博客 1万+

vue数组刷新_vue 数组更新视图不更新的问题

0. 解决方案1.当你利用索引直接设置一个项时,例如:vm.items[indexOfItem] = newValue2.当你修改数组的长度时,例如:vm.items.length = newLength对于第一种情况,可以使用:Vue.set(example1.items, indexOfItem, newValue);而对于第二种情况,可以使用 vm.items.splice(newLengt...

weixin_34847632的博客 1119

vue2修改数组或对象,但视图不刷新

vue2修改数组或对象,但视图不刷新的解决办法: 1. Vue.$set(官方推荐) 2. v-if静默刷新 3. Vue.$forceUpdate(手动强制更新视图) 4.Object.assign(使用修改栈能触发视图更新的特性) 5.对于数组还可以使用splice方法push()、pop()、shift()、unshift()、splice()、sort()、reverse()

admin00088的博客 1万+

vue 更新对象或数组更新后视图不刷新的问题

问题表现 在开发的过程中遇到一个问题,就是更新对象或数组后对应的视图值却不刷新。 官方解释 关于这个问题其实官方文档已经给出了很清楚的解释,想深入了解的小伙伴可以去扒官方文档。 https://cn.vuejs.org/v2/guide/list.html 渲染列表中的注意事项。 简单解决方案 出现这样问题的情景:已经初始化对象(数组),然后想要重新给对象(数组)的某一个属性(元素)重...

weixin_39975379的博客 1755

vue数组变化视图_vue数组操作不更新视图问题

vue 观察数组的变异方法 更新视图push()pop()shift()unshift()splice(i,n,arr)sort(xx)reverse()ex: app.book.push({name:'css',author:'lee'})有些方法不会改变数组filter()concat()slice()返回新数组 需要用 新返回的数组 更新原数组app.books= app.books.fi...

weixin_39883433的博客 1048

vue-数组/对象更新 视图不更新 this.$set

很多时候,我们习惯于这样操作数组和对象: data() { // data数据 return { arr: [1,2,3], obj:{ a: 1, b: 2 } }; }, // 数据更新 数组视图不更新 this.arr[0] = 'OBKoro1'; this.arr.length = 1; cons

Orlando321的博客 2276

Vue改变数组值,页面视图为何不刷新?

1、iview table 自定义序号 将其对应的type设为 index 即可 { title: "序号", width: 70, align: "left", type: "index" } 复制代码2、父子组件传值,父组件调用子组件方法 场景:iview 中 封装一个modal 组件公共引用 父组件: // 引入组件 import orderMod...

执行上下文的博客 5265

vue2-数组更新,视图不刷新

表格点击详情后的弹窗这里我就发现,当我点击不同的费用时,打印出来的costInfo是不同的,但是弹窗中的内容竟然是相同的。造成的原因就是数据更新了,视图没有更新。使用this.$set()——this.$set 是Vue中的一个,用于在响应式对象上设置新的属性或修改已有的属性,并确保这些属性也是响应式的。

qq_69223185的博客 1886

vue视图不更新情况

我们有时会会在处理vue项目的时候,遇到数据变化了,但是视图并没有实时渲染的情况 vue视图为什么不渲染页面的原因 当你把一个普通的 JavaScript 对象传给 Vue 实例的 data 选项,Vue 将遍历此对象所有的属性,并使用 Object.defineProperty 把这些属性全部转为 getter/setter。Object.defineProperty 是 ES5 中一个无法 s...

infotw的博客 2404

vue数据改变了,视图不更新不刷新问题

vue数据改变了,视图不更新不刷新问题 描述:在对象中添加一个属性 seen,初始想法使用for循环添加 seen 属性,然后改变这个属性去更新视图,然后发现不行。 解决,使用$set: this.$set(item, 'seen', false) 代码: // 请求来的数据,在 res.results 中没有seen这个属性,添加这个属性 this.worklogs = res...

小糖穿越火线 2391
上一篇: 腾讯2012实习生笔试题+答案解析
下一篇: KDD2012参会小结
overstack
博客等级 码龄14年 115粉丝 55原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值