【冬瓜哥熊文】大话流水线(3终)~实际应用及优化

《大话处理器》连载——微架构(4) 史上最经典的5级流水线 处理器内部有很多通用寄存器,这些寄存器用来存储指令的操作数,它对程序员可见,如x86有8个通用寄存器,RISC处理器则更多,常有32个或64个等等。这一堆寄存器也被叫做Register file(寄存器堆)。         在流水线设计中,为了确保不同流水线节拍不会相互影响, 阅读详情

1. CPU流水线

在IT领域,流水线的最典型实际应用就是CPU内部执行机器指令的过程。比如某程序含有大量的机器指令,位于内存中,CPU需要逐条取回和处理。比如某条指令为add指令,CPU首先要从内存读出该指,然后要对其译码,也就是看看该指令到底是让我干什么,译码之后会向对应的电路部件发送控制指令执行该操作。如果是stor/load指令,则译码之后的结果是访问内存,而不是计算。可以看到,CPU内部的电路对一条机器指令的处理起码可以分为取指令、译码生成控制信号、计算(从ALU中选出对应的结果)、访问内存(如果是Load/Stor指令)、写回(将结果导入寄存器)这5个大步骤。电路完全可以把这5个步骤放在一起执行,也就是让电信号传递到所有的控制逻辑中,最终结果直接被导入到结果寄存器前端,然后在下一个时钟的边沿锁存该结果。每个时钟周期非常长,以便让电信号流经所有这些逻辑电路并输出结果。这么做的结果就是,某指令被取回之后,进入译码逻辑电路,此时取指令电路就会闲置在那里;译码完之后,比如是Load/Stor类指令,那么电路会向L1 Cache发送访存请求,此时取指令、译码电路一起闲在那,取指令闲的更久。同理,直到该指令的结果被输出到寄存器,下一个时钟边沿到来之前,CPU内大量的逻辑电路模块都处于闲置状态。对于这样一个系统,其能够执行的指令吞吐量,根据上文中总结出的算式,1/总时延,相当于1/时钟周期。该流水线相当于一个只有1级且该级时延=1个时钟周期的流水线,且时钟周期很长。其本质上等价于同步流水线。

这个步骤非常适合于改造为异步流水线,位于内存中的大量的机器指令就是待处理的角色;取指、译码等模块就是流水线的每一级,将原本一个大步骤切分为上述的5个小步骤,并且让这5个步骤的时延尽量缩小,而且让其异步执行。取指令、访存这两步的时延会比较高,因为可能需要访问外部SDRAM,译码时延相对低一些,但是相比计算步骤来讲可能也高一些,当然,看最终是计算什么,如果是加减乘那么会相当快,如果是除法则需要相当长的时间才能完成,而译码相对就简单了。正因如此,为了降低取指令和访存的时延,人们增加了L1 、L2、L3 Cache,让取指和访存尽量在Cache中命中;以及将译码阶段再次分割为各种预译码阶段,比如对指令进行定界(判断控制码、源操作寄存器、目标操作寄存器的长度)、检查指令码是否合法等细小的步骤。这样改造之后,每一步时延会非常小,而每一步都用一个时钟边沿来驱动和锁存结果,这样就需要把时钟频率提上去。此时该异步流水线的吞吐量依然为1/[时钟周期],但是时钟周期大大缩短,吞吐量就上去了。

切分为多个步骤之后,上级与下级之间就需要一个暂存上级输出结果的地方,结果被暂存到这里之后,上一级立即开始处理其自身的上游输出给它的结果(来自上游寄存器)。由于每一级都是组合逻辑电路,输入随着输出动态改变,所以每一级之间的这个暂存地应该是边沿触发寄存器。每个时钟边沿触发锁存上一级输出的结果,锁存之后,寄存器内的信号立即会对下一级组合逻辑电路产生影响,算出结果输送到下一级寄存器输入端等待。

实际设计时,每一步的时延不可能被设计的精确相等,所以时钟周期必须按照耗时最长的那一步来定,这样的话耗时短的就会先干完活,对应的信号会在其与下级步骤之间的寄存器输入端等待着,越早干完活的,等待时间就越长,这一级本身的闲置时间也就越长。

我们之前说过,在流水线各个级之间增加缓冲队列,非常有利于抗波动,保持吞吐量稳定。CPU的指令执行流水线不仅波动大,而且耦合性很大。其与上述介绍的处理物品的流水线不同,CPU内部流水线是将一条指令的处理切分为多个小步骤形成流水线,每一级处理的一条指令的一小步,而不是整条指令。指令之间可能存在很强的依赖性/耦合性/相关性,这会导致一系列问题,冬瓜哥就不多展开了。

 

2. 并行计算

如果上升到软件层面,程序处理也可以采用流水线思想来加速。比如某程序包含5千行代码,其处理时延就是CPU运行5千行代码所耗费的时间。现在要对该程序加速,那么采用流水线思想,将5千行代码的程序分割成5个程序,每个程序一千行代码,那么其理论吞吐量会翻5倍。

        但是不要忽略一个问题。对于物品传递流水线来讲,是真的有多个角色在同时工作从而传递物品,请注意“同时”这个词,同一个时刻,多级流水线处理模块都在工作。而对于程序来讲,要实现流水线,就得这多个程序同时在执行。如果多个程序在同一个CPU上运行,其就不是异步流水线,而本质上等价于同步流水线。所以,必须让流水线中的每个程序各自都在不同的CPU上同时运行,才可以达到增加吞吐量的效果。这就是所谓并行计算。此外,并不一定必须使用流水线思想才能增加吞吐量,可以直接复制出多个程序副本(俗称worker),让每个CPU都运行一份该程序,处理不同的数据(将数据切分为多份分别处理)即便该程序总时延很高,但是通过增加物理并发度,一样可以达到等价效果。

        当然,最终还得看场景,有些场景无法流水线化或者物理并行处理,因为数据之间耦合太紧密,比如:必须处理完上一份数据,才知道下一份数据应该如何处理,或者该从哪一步开始处理。这样就只能等待上一份数据完全出流水线后,由程序判断出结果,决定下一份数据进入流水线哪一级,比如直接跨过程序1、2而进入程序3处理。

对数据处理方面有些额外的内容,可以参考《大话众核心处理器体系结构》一文。

 

3. I/O系统

操作系统内核的I/O子系统处理的是应用程序下发的IO请求,对应的吞吐量描述用语是“IOPS”,每秒IO操作数。每一笔IO请求一般都需要经过:目录层、文件系统层、块层、SCSI/NVMe协议栈核心、HBA驱动、外部总线/网络、外部设备,外部设备本身也是一台小计算机,其内部也需要经过众多处理步骤。

操作系统一般会创建若干个内核线程来专门负责处理这些IO调用,但是普遍做法是一个线程把几乎所有上述这些步骤都处理完,但是是多个线程并行处理。IO请求在OS内核中的处理路径模型其实匹配了单级多物理并发流水线,理论吞吐量就是处理线程数/每个线程的处理总时延。

但是IO请求经过OS内核处理之后,最终会被发送到外部设备来处理。从HBA控制器到外部设备这段路径上的时延,要远高于IO请求在内核中所经历的时延,即便是固态硬盘,时延相比内核处理时间也是很高。不管IO请求在HBA之外经历了多少级、多少并发度的流水线,可以肯定的是外部任何一级的吞吐量都要远低于OS内核的理论吞吐量(相当于内存的吞吐量),那么整体IO处理流水线的吞吐量,按照上文的分析,受限于吞吐量最低的那一级,一般来讲就是最终的硬盘(机械或者固态)。有个一个特例可以在外部流水线的某一级的吞吐量要高于OS内核处理吞吐量,那就是在IO路径上某处使用比如DDR SDRAM介质来虚拟成一个块设备,此时OS内核处理的吞吐量反而要低于这一级的理论吞吐量,但是无济于事,必定有某处的吞吐量依然会制约整体IO路径的吞吐量,除非整个路径都只访问内存。

    



【高速互连技术】合规性测试规范:物理层信号完整性与链路均衡验证系统设计 内容概要:本文档介绍了分析工具进行实践对照,并关注后续规范版本更新以确保符合最终发布标准。 立即下载

相关推荐

frontend-design skills

frontend-design skills

《大话计算机》助推国产半导体浴火重生!

各位,好久不见,久违了!冬瓜哥消隐了很长一段时间,其实是在密谋一件大事!这件事持续了快4年了,如今,随着中兴被老川那给狠狠的弄了一下,半导体国产化这个主题成为圈子里24小...

大话存储 1642

政府科技管理者在推动区域科技成果转化过程中,如何解决成果供需匹配效率低的问题?.docx

政府科技管理者在推动区域科技成果转化过程中,如何解决成果供需匹配效率低的问题?

《大话计算机》序言①

序作者简介:廖恒 博士,现任海思半导体公司首席科学家,Fellow。曾就读清华大学、普林斯顿大学。曾为PMC-Sierra公司Fellow,曾参与T10 SAS 标准制定...

大话存储 2263

用于计算系统状态的卡尔曼最优增益和最小均方误差(MMSE)估计研究(Matlab代码实现)

内容概要:本文围绕用于计算系统状态的卡尔曼最优增益和最小均方误差(MMSE)估计展开研究,深入探讨了卡尔曼滤波在动态系统状态估计中的核心作用。文章系统阐述了卡尔曼滤波的数学基础,包括状态空间模型的建立、先验与后验状态估计、协方差矩阵的递推更新,以及最优增益矩阵的推导过程,确保在高斯白噪声环境下实现对系统状态的最小均方误差估计。结合Matlab代码实现,完整展示了算法从理论建模到仿真实验的全流程,涵盖系统建模、噪声设置、滤波迭代、状态更新与误差分析等环节,并通过仿真实验验证了算法在噪声干扰下对系统真实状态的高精度跟踪能力。该研究为控制工程、导航系统、信号处理及自动化领域中的状态估计问题提供了坚实的理论依据与高效的数值实现方案。; 适合人群:具备一定控制理论、概率统计基础和Matlab编程能力,从事自动化、电子信息、航空航天、机器人、导航定位等相关领域的科研人员、工程技术人员及高校研究生。; 使用场景及目标:①掌握卡尔曼滤波的基本原理及其在状态估计中的数学推导过程;②学习如何利用Matlab实现卡尔曼滤波算法并进行系统仿真与性能评估;③应用于目标跟踪、传感器融合、惯性导航、故障诊断、时间序列预测等实际工程中的动态状态估计问题。; 阅读建议:建议读者结合文中提供的Matlab代码进行动手实践,通过调整系统模型参数、过程噪声与观测噪声强度,观察滤波效果的变化,深入理解卡尔曼增益的自适应调节机制与MMSE估计的收敛特性。同时可进一步拓展学习扩展卡尔曼滤波(EKF)、无迹卡尔曼滤波(UKF)等非线性滤波方法,以应对更复杂的非线性系统状态估计挑战。

高校技术转移办公室人员如何提升成果转化服务效率?.docx

科易网基于行业知识库+行业大数据+科技资源要素+AI模型,以AI,赋能技术转移、成果转化、技术经理人培训、知识产权管理、区域产业分析与布局、地方科技招商、创新创业大赛等场景,推出科技创新领域的AI工具、场景化服务和数智化解决方案,推动科技创新与产业创新智能化发展。

【冬瓜哥熊文】大话流水线(1)~流水线基础理论

【冬瓜哥熊文】大话流水线(1)~流水线基础理论

大话存储 548

国央企创新负责人如何利用平台实现技术需求的精准挖掘与匹配?.docx

科易网基于行业知识库+行业大数据+科技资源要素+AI模型,以AI,赋能技术转移、成果转化、技术经理人培训、知识产权管理、区域产业分析与布局、地方科技招商、创新创业大赛等场景,推出科技创新领域的AI工具、场景化服务和数智化解决方案,推动科技创新与产业创新智能化发展。

【第1期】《大话计算机》内容你点我贴

在《大话计算机》助推国产半导体浴火重生!一贴中,冬瓜哥贴出了《大话计算机》一书全书目录和一些截图。很多网友大呼不过瘾。众多网友要求提供样章内容。大家想看哪一节,或者目录中...

大话存储 5418

Cadence Allegro PCB文件对比实战:3分钟搞定两份设计差异(附颜色标注技巧)

本文详细介绍了如何高效使用Cadence Allegro的Design Compare功能进行PCB文件差异对比。通过实战工作流,可在3分钟内精准定位并理解两份设计在布局、布线、元件等方面的关键差异,并分享了自定义颜色标注技巧,帮助工程师快速聚焦重要修改,提升设计评审与团队协作效率。

weixin_29248653的博客 385

(8)机器人动力学

机器人是一个具有多输入多输出的复杂动力学系统,存在严重的非线性,需要非常系统的方法对机器人进行动力学研究。常用的机器人动力学建模方法有:Lagrange(拉格朗日)动力学方法、Newton-Euler(牛顿-欧拉)动力学方法、Gauss(高斯)动力学方法、Kane(凯恩)动力学方法等。机器人动力学研究的是机器人的运动和作用力之间的关系。机器人的动力学问题包括动力学正问题和动力学逆问题。动力学正问题是对于给定的关节驱动力......

rouyu308的博客 9501

【冬瓜哥手绘】致敬龙芯!冬瓜哥手工设计了一个CPU译码器!

致敬龙芯!冬瓜哥手绘了一个2指令2周期的CPU译码器!当然,冬瓜哥只是用这个例子尝试向大家分享一些底层电路层面的设计,让大家对其原貌有个感性认识,并希望有更多的人研究和从事底层系统工作。有人说做底层的都是loser,那其实是他逼格太低!

大话存储 1192

[漏洞利用]利用五次Shift越权破解win7\win10开机密码

注:第一个学习和接触的Windows漏洞 文章目录本机实验环境前置知识漏洞原理漏洞介绍漏洞验证解决方法基本流程介绍详细步骤截图 本机实验环境 虚拟机:VMware Workstation 14 pro 操作系统:Windows10 前置知识 1、cmd工具路径 c:\windows\system32\cmd,按五次shift默认调用同目录下sethc文件,其路径为“c:\windows\system32\sethc.exe” 2、用户/账户密码存储位置 c:\windows\system32\config\

Y4tacker的博客 2万+

【冬瓜哥手绘】它保你上线性能也吊炸天!

【冬瓜哥手绘】它保你上线性能也吊炸天!

大话存储 750

VMware 15 虚拟机安装Ubuntu 18.04

这几年在自动化、计算机之间游来游去,最近又要做机器学习相关的课题,14年做的虚拟机实在不堪重用了,OK,我们重新开始。 VMware的安装就不再赘述了,目前最新版本是15.0.2,官方下载地址: https://my.vmware.com/en/web/vmware/info/slug/desktop_end_user_computing/vmware_workstation_pro/15_0...

略懂 2万+

一种4位sar adc仿真验证

4位sar adc采用下图的电容阵列,电路如下图:所有电容的正端(也称为上极板)与比较器的反相端连接,比较器同相端接Vin,其工作过程进行大致分析见之前的文章《一种4位sar adc工作过程推导(三)》,下面对这个电路进行仿真验证。 两个参考电压VrefPV_{refP}VrefP​和VrefNV_{refN}VrefN​,V+=VinV_{+}=V_{in}V+​=Vin​,假设1116(VrefP−VrefN)+VrefN<Vin<1216(VrefP−VrefN)+VrefN\frac{

大学生视野 1956

【预告】《大话计算机》内容你点我贴

在《大话计算机》助推国产半导体浴火重生!一贴中,冬瓜哥贴出了《大话计算机》一书全书目录和一些截图。很多网友大呼不过瘾。还有一些网友提出了质疑,1300页覆盖如此全面的内容...

大话存储 2117

Quartus II 13.0安装避坑指南:从下载到破解的完整流程(附常见错误解决方案)

本文提供Quartus II 13.0软件的详细安装与破解指南,涵盖从下载准备、路径设置、主程序安装到授权配置的全流程。重点解析了破解过程中生成和修改license.dat文件的核心步骤,并针对“无法找到有效的License文件”等常见错误提供了实用的解决方案,帮助用户快速构建稳定的FPGA开发环境。

weixin_29291863的博客 763

《大话计算机》免费送!

看直播,获赠书!本周六观看直播与冬瓜哥互动交流,有机会抽中《大话计算机》图书。周六冬瓜去奔赴远在燕郊的印厂为预购了《大话计算机》(想直接购买的朋友可进入该链接)的朋友们签...

大话存储 6673

ENVI入门系列教程---一、数据预处理---1.1基本操作--5.x以后的界面(新界面)

every blog every motto: You never know how strong you really are until being strong is the only choice you have。 0. 前言 本系列教程旨在系统学习并梳理ENVI。说来惭愧,作为一名GISer,对ENVI这类软件还不能熟练掌握,这也是本系列教程的初衷。种一棵树最好的时间是十年以前,其次是...

胡侃有料的博客 1万+

STM32 stack_size和heap_size大小设置的意义

在使用STM32编程时,一般情况下我们不会关注堆栈空间的大小,因为在STM32的启动文件中,已经帮我们预先设置好了堆栈空间的大小。如下图所示的启动代码中,Stack栈的大小为:0x400(1024Byte),Heap堆的大小为:0x200(512Byte)。 1、若工程中使用的局部变量较多,定义的数据长度较大时,若不调整栈的空间大小,则会导致程序出现栈溢出,程序运行结果与预期的不符或程序跑飞。这时我们就需要手动的调整栈的大小。 2、当工程中使用了malloc动态分配内存空间时,这时分配.......

zxm8513优快云博客 3万+

冬瓜哥直播:小白一小时掌握机器学习底层原理

冬瓜哥本周五(29日)晚8点,在京东平台直播带货,《大话计算机 ——计算机系统底层架构原理极限剖析》直播内容是按照本书第12章人工智能章节的素材和思路,为大家现场讲解机器学习人工智能的...

大话存储 884

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

【冬瓜哥熊文】大话流水线(2)~队列、时延与并发

【冬瓜哥熊文】大话流水线(2)~队列、时延与并发

大话存储 763

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

冬瓜哥的一项新存储技术专利已正式通过

专利号:US Patent P/N9257144,是冬瓜哥的一项针对SMR磁盘性能优化方面的技术专利。

大话存储 1559

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

冬瓜哥的PC机上唯独它9年没换!

冬瓜哥2010年配了一台游戏PC机,买了个中型机箱,当时并没有考虑太多。初始是i7 2600平台,GTX580显卡。2年前升到了i7 9700k平台+双2080tiSLI。关于冬瓜哥是怎么...

大话存储 487
上一篇: 【冬瓜哥手绘】它保你上线性能也吊炸天!
下一篇: 【漫画】《存储悍将》记浪潮新一代智能存储G2平台震撼发布!
大话存储
博客等级 码龄9年 568粉丝 148原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值