多核编程中的锁竞争难题

线程死锁CPU过高,请求原因分析 线程死锁 CPU过高 WeakHashMap 请求原因分析 立即下载
   
多核编程中的锁竞争现象
 
                           多核编程的几个难题及其应对策略(难题一)
                           OpenMP并行程序设计(二)
                           OpenMP并行程序设计(一)
                           双核CPU上的快速排序效率
在前一篇讲解多核编程的几个难题及其对策(难题一)的文章中提到了锁竞争会让串行化随CPU的核数增多而加剧的现象,这篇文章就来对多核编程的锁竞争进行深入的分析。
       为了简化起见,我们先看一个简单的情况,假设有4个对等的任务同时启动运行,假设每个任务刚开始时有一个需要锁保护的操作,耗时为1,每个任务其他部分的耗时为25。这几个任务启动运行后的运行情况如下图所示:
                                               图1:对等任务的锁竞争示意图
在上图中,可以看出第1个任务直接执行到结束,中间没有等待,第2个任务等待了1个时间单位,第3个任务等待了2个时间单位,第3个任务等待了3个时间单位。
这样有3个CPU总计等待了6个时间单位,如果这几个任务是采用OpenMP里的所有任务都在同一点上进行等待到全部任务执行完再向下执行时,那么总的运行时间将和第四个任务一样为29个时间单位,加速系数为:(1+4×25)/ 29 = 3.48
       即使以4个任务的平均时间27.5来进行计算,加速系数=101/27.5 = 3.67
按照阿姆尔达定律来计算加速系数的话,上述应用中,串行时间为1,并行处理的总时间转化为串行后为100个时间单位,如果放在4核CPU上运行的话,加速系数=p / (1 + (p-1)*f) = 4/(1+(4-1)*1/101) = 404/104 = 3.88
这就产生了一个奇怪的问题,使用了锁之后,加速系数连阿姆尔达定律计算出来的加速系数都不如,更别说用 Gustafson 定律计算的加速系数了。
 
其实可以将上面 4 个任务的锁竞争情况推广到更一般的情况,假设有锁保护的串行化时间为 1 ,可并行化部分在单核 CPU 上的运行时间为 t , CPU 核数为 p ,那么在 p 个对成任务同时运行情况下,锁竞争导致的总等待时间为: 1 + 2 + … + p = p*(p-1)/2
耗时最多的一个任务所用时间为: p + t/p
使用耗时最多的一个任务所用时间来当作并行运行时间的话,加速系数如下
S(p) = (t+1) / (p + t/p) = p*(t+1) / (p*p+t)        (锁竞争下的加速系数公式)
这个公式表明在有锁竞争情况下,如果核数固定情况下,可并行化部分越大,那么加速系数将越大。在并行化时间固定的情况下,如果 CPU 核数越多,那么加速系数将越小。
还是计算几个实际的例子来说明上面公式的效果:
令 t=100, p=4, 加速系数= 4 ×( 100 +1)/ (4*4+100) = 3.48
令 t=100, p=16, 加速系数= 16 ×( 100+1) / (16*16+100) = 4.54
令 t=100, p=64, 加速系数= 64 ×( 100+1) / (64*64+100) = 1.54
令 t=100, p=128, 加速系数= 128 ×( 100+1) / (128*128+100) = 0.78
从以上计算可以看出,当核数多到一定的时候,加速系数不仅不增加反而下降,核数增加到 128 时,加速系数只有 0.78 ,还不如在单核 CPU 上运行的速度。
上面的例子中,锁保护导致的串行代码是在任务启动时调用的,其实对等任务中在其他地方调用的锁保护的串行代码也是一样的。
对等型任务的锁竞争现象在实际情况中是很常见的,比如服务器软件,通常各个客户端处理任务都是对等的,如果在里面使用了锁的话,那么很容易造成上面说的加速系数随 CPU 核数增多而下降的现象。
以前的服务器软件一般运行在双 CPU 或四 CPU 机器上,所以锁竞争导致的加速系数下降现象不明显,进入多核时代后,随着 CPU 核数的增多,这个问题将变得很严重,所以多核时代对程序设计提出了新的挑战。以前的多任务下的编程思想放到多核编程上不一定行得通。
       所以简单地认为多核编程和以前的多任务编程或并行计算等同的话是不切实际的,在讲串行化难题的那篇文章中提出了一些解决方面的对策,但是那些对策还有待业界继续努力才能做得到。
当然由于目前市面上销售的多核CPU还是双核和四核的,等到16核以上的CPU大规模进入市场可能还有几年时间,相信业界在未来的几年内能够对于上面对等任务上的锁竞争问题找到更好的解决方案。
 
作者介绍: 周伟明,自由职业,从事软件行业十年有余。目前主要关注软件测试、多核编程、软件设计等基础方面的内容。写有《多任务下的数据结构与算法》一书,目前正在写作《软件测试实践》一书,计划在不久的将来写一本多核编程方面的书籍。
 


Trackback: http://tb.blog.youkuaiyun.com/TrackBack.aspx?PostId=1559718


uni-app - 在纯 JS 文件中调用自定义弹框组件 / 封装全局 API 调用弹框组件(解决小程序、APP 无法使用 document.body.appendChild 插入组件节点)适配全端 uni-app-在纯JS文件中调用自定义弹框组件/封装全局API调用弹框组件(解决小程序、APP无法使用document.body.appendChild插入组件节点)适配全端,uni-appappendChild怎么向小程序中插入节点,如何开发类似uni.showModal全局组件。h5端可以通过document.body.appendChild挂载,请问app跟微信小程序怎么弄,请问uniapp如何封装全局api调用弹窗组件?uniapp怎么设置所有页面共用的组件Uni 阅读详情

相关推荐

大白话,Android Studio安装及其资源分享(离线gradle配置)

安装AndroidAtudio,并通过aliClound镜像与离线gradle配置,来跳过相对“繁文缛节”的过程,直接实现开发

wangzixuanemp的博客 3598

多线程(一)--synchronized

1.2 线程安全 线程安全概念:当多个线程访问某一个类(对象或方法)时,这个类始终都能表现出正确的行为,那么这个类(对象或方法)就是线程安全的。 激烈的锁竞争会导致cpu使用率飙升,表现为应用访问慢,或者系统宕机。 所以,多线程编程要注意锁竞争的发生。 1.3 多个对象多个锁 关键字synchronized取得的锁都是对象锁,而不是把一段代码(方法)当做锁,所以,示例代码中那个线程先执行syn...

csdn_kenneth的博客 345

单细胞双胞过滤-scrublet安装

pip install scrublet ----use-pep517有如下报错,分析可知安装annoy时不会自动更新gcc的版本,centos默认是4.8.5。pip install scrublet ----use-pep517 仍然报错,但似乎不影响使用,提示Successfully installed。打开终端,进入Python环境,输入以下代码,查看Python安装位置。暂时还没尝试是否存在问题,如果存在问题,降级scrublet版本。包的开发依赖的是比较低版本的numpy,会用到。

hzau_t的博客 796

多线程中导致cpu使用率一直上升,一般会是哪些地方导致的

1. **锁竞争(Lock Contention)**:当多个线程频繁请求同一资源的锁时,会发生锁竞争,导致线程阻塞和CPU资源浪费。2. **死锁(Deadlock)**:死锁发生时,多个线程相互等待对方持有的资源,导致程序无法继续执行。10. **I/O 操作**:阻塞的 I/O 操作可能导致线程无法继续执行,从而占用 CPU 资源。7. **不合理的线程数量**:创建过多的线程可能导致CPU过载。8. **长时间运行的同步任务**:如果同步任务执行时间过长,可能会导致CPU使用率上升。

qq_42572322的博客 1849

ColorOS13系统账户锁与密码锁破解全指南:从恢复模式到激活绕过

本文针对ColorOS13系统用户,详细解析了忘记锁屏密码(数字/图案锁)和遭遇OPPO账户锁(激活锁)的合法解决方案。核心是通过官方恢复模式进行格式化操作清除锁屏密码,并强调账户锁需通过密码找回或官方售后等正规途径解除。文章旨在帮助设备合法所有者恢复使用权,并提供了安全操作指南与数据备份建议。

weixin_28304023的博客 969

MDF和DHF、DMR、DHR三者差异?注册与备案文件?医疗器械产品技术要求编写指导原则

定义:设计历史文档(DHF ) 指的是描述某医疗器械成品设计过程的有关记录。内容:DHF包括设计开发活动的所有记录。从最初的策划、客户需求、设计输入,设计输出、设计验证、设计确认、所有的设计评审,设计转换,以及设计变更相关的所有记录。均属于DHF的一部分。要求:各制造商应为每个类型的器械建立并保持设计历史文件。设计历史文件应包含或引用必要的记录,以证实设计符合经批准的设计计划和法规的要求。

学海无涯的专栏 9113

数据库 CPU 飙高的可能原因及排查指标

大量复杂查询:执行高计算量的 SQL(如聚合、排序、多表 JOIN)。索引缺失或失效:全表扫描导致 CPU 负载升高。锁竞争:行锁、表锁或死锁导致线程阻塞,CPU 空转。配置不当:innodb_buffer_pool_size 过小,频繁磁盘 I/O。并发请求过高:超出数据库处理能力,线程堆积。2. 排查指标与工具阈值(秒)bash复制。

weixin_39304656的博客 957

华为OD机考双机位C卷 - 信道分配(Java & Python& JS & C/C++ & GO )

华为OD机考双机位C卷 - 信道分配

算法大师! 455

Java面试题之写一个死锁代码片段的正确姿势

1、引言 面试的时候可能会让你写一段死锁的代码,其实如果对死锁理解深刻,写出来并不难。 其中一个典型场景,就是一个线程持有A锁,然后请求获取B锁。另外一个线程正好相反,持有B锁,等待获取A锁。 2、死锁必备的四个条件 互斥条件:资源是独占的且排他使用,进程互斥使用资源,即任意时刻一个资源只能给一个进程使用,其他进程若申请一个资源,而该资源被另一进程占有时,则申请者等待直到资源被占有者释放。 不...

微信公众号:一颗向上的草莓 518

基于ESP32的智能健康监测系统开发

本文介绍了如何基于ESP32开发智能健康监测系统,从硬件选型、系统架构到软件实现的每一个环节。通过ESP32的Wi-Fi功能、传感器模块和云平台的结合,我们实现了实时健康数据监测、远程查看、报警等功能。系统的低功耗特性使得其适用于长期健康监测,能够为用户提供更便捷的健康管理方案。随着技术的不断发展,未来智能健康监测系统将进一步发展。例如,增加更多的传感器,提升数据分析能力,甚至通过人工智能算法来预测用户的健康趋势,为用户提供个性化的健康建议。

2201_76125393的博客 1106

npm install 时出现npm error code ENOTFOUND和npm error network request to https://registry.npmjs.org的解决方案

本文主要介绍了npm install 时出现npm error code ENOTFOUND和npm error network request to https://registry.npmjs.org 的解决方案,希望能对使用npm的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案

weixin_43178406的博客 6万+
上一篇: 微软过桥问题与测试人员素养
下一篇: 多核编程的几个难题及其应对策略(难题一)
techweb
博客等级 码龄19年 226粉丝 3842原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值