Linux内核--进程管理(十一)多核下的负载均衡

已于 2024-01-06 10:52:46 修改
阅读量1k 收藏 24
点赞数 24
分类专栏： CPU性能分析与操作系统的构建 文章标签： linux 负载均衡 运维
于 2024-01-03 14:22:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_38019025/article/details/135313871
版权
本文详细介绍了Linux内核在多核环境下的负载均衡机制，包括线程、RT进程、普通进程的负载均衡策略，以及如何设置CPU task affinity以控制线程亲和性。同时探讨了中断负载均衡和RPS软中断负载均衡的重要性，以及Linux非实时系统中的一些优化措施。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

一、引言
二、调度机制介绍
------>2.1、线程的多核运行
------>2.2、RT进程多核负载均衡
------>2.3、普通进程多核负载均衡
------>2.4、设置 CPU task affinity
三、中断负载均衡、RPS软中断负载均衡
四、linux非实时系统
------>4.1、优化措施

一、引言

本文延续前一章的内容，介绍调度器的其他内容：关于多核、分群、硬实时

二、多核下的负载均衡

tips: 旧的调度算法是通过+/- 5 nice值，来照顾IO型，惩罚CPU型。新的进程调度算法CFS，会根据ptime/nice值进行红黑树匹配。

2.1、线程的多核运行
了解本专栏 订阅专栏 解锁全文 超级会员免费看
linux中断与多核CPU的绑定（实现负载均衡）
ARM-Linux
05-06 4230
1.SMP IRQ Affinity 硬件中断发生频繁，是件很消耗 CPU 资源的事情，在多核 CPU 条件下如果有办法把大量硬件中断分配给不同的 CPU (core) 处理显然能很好的平衡性能。 现在的服务器上动不动就是多 CPU 多核、多网卡、多硬盘，如果能让网卡中断独占1个 CPU (core)、磁盘 IO 中断独占1个 CPU 的话将会大大减轻单一 CPU 的负担、提高整体处理效率。 传统的 8259A 只适合单 CPU 的情况，现在都是多 CPU 多核的 SMP 体系，所以为了充分利..
上帝视角 | 多核系统的负载均衡
Peter的专栏
07-12 1294
前面的调度学习都是默认在单个 CPU 上的调度策略。我们知道为了 CPU 之间减少“干扰”，每个 CPU 上都有一个任务队列。运行的过程种可能会出现有的 CPU 很忙，有的 CPU 很闲，...
多核编程中的负载平衡难题
热门推荐
周伟明的多核、测试专栏
04-17 1万+
 多核编程中的负载平衡难题 作者：周伟明相关文章链接：多核编程中的锁竞争难题                             多核编程的几个难题及其应对策略（难题一）                            OpenMP并行程序设计（二）                            OpenMP并行程序设计（一）           
密集负载下的网卡中断负载均衡smp affinity及单队列RPS
weixin_34279246的博客
12-04 293
简单的说就是，每个硬件设备（如：硬盘、网卡等）都需要和 CPU 有某种形式的通信以便 CPU 及时知道发生了什么事情，这样 CPU 可能就会放下手中的事情去处理应急事件，硬件设备主动打扰 CPU 的现象就是硬件中断。关于SMP IRQ affinity？新的内核, Linux改进了分配特定中断到指定的处理器(或处理器组)的功能. 这被称为SMP IRQ affinity, 它可以控制系统如何响应各...
进程在多核CPU环境下分布不均导致TCP连接堆积
weixin_33896069的博客
08-08 631
今天处理了一个客户的故障，可能在web排错方面有一定的代表性，所以在这里跟大家分享。 背景： 电商客户，系统架构是前端一台负载均衡设备，负载均衡算法是轮询(round robin)；后面是两台web服务器，跑的应用是gunicorn(一个Python WSGI UNIX的HTTP服务器)。 故障现象： 用户抱怨网站响应慢，有较多的页面打不开的情况。从系统监控来看，...
linux在多核处理器上的负载均衡原理
无界编程
03-19 1万+
原文出处：http://donghao.org/uii/ 【原理】现在互联网公司使用的都是多CPU（多核）的服务器了，Linux操作系统会自动把任务分配到不同的处理器上，并尽可能的保持负载均衡。那Linux内核是怎么做到让各个CPU的压力均匀的呢？做一个负载均衡机制，重点在于：1. 何时检查并调整负载情况？2. 如何调整负载？先看第一个问题。如果让我这样的庸俗程序员来设计，我第一个想到的就是每隔一
Linux进程管理：(六)SMP负载均衡
qq_58538265的博客
03-17 1875
在调度域标志位中，SD_SHARE_PKG_RESOURCE标志位用于描述高速缓存的共享属性。因此，
linux之调度管理(12)- SMP 负载均衡
最新发布
z20230508的博客
11-25 948
负载均衡以当前CPU开始，自下而上地遍历调度域，从最底层的调度域开始做负载均衡。允许做负载均衡的首要条件是当前CPU是该调度域中第一个CPU，或者当前CPU是空闲CPU。详见should_we_balance()函数。在调度域中查找最繁忙的调度组，更新调度域和调度组的相关信息，计算出该调度域的不均衡负载值（imbalance）。在最繁忙的调度组中查找最繁忙的CPU，并把最繁忙CPU中的进程迁移到当前CPU上，迁移的负载量为不均衡负载值。
linux-让多核CPU达到指定的CPU使用率脚本
08-13
- Linux内核使用调度器（如CFS，Completely Fair Scheduler）来决定哪个进程应该获得CPU时间片。脚本可能通过系统调用如`fork()`或`pthread_create()`创建新进程或线程来模拟负载。 5. **性能监测工具**： - `...
【Linux 内核源码分析】多核调度分析
C/C++Linux、音视频、DPDK
01-27 2088
SMP（Symmetric Multiprocessing，对称多处理）是一种常见的多核处理器架构。它将多个处理器集成到一个计算机系统中，并通过共享系统总线和内存子系统来实现处理器之间的通信。首先，SMP架构将一组处理器集中在同一个计算机上。这些处理器可以是物理上独立的芯片，也可以是在同一芯片上集成的多个核心。无论是物理上独立的处理器还是集成在同一芯片上的核心，它们都可以同时工作，处理不同的任务。在SMP架构中，各处理器是对等的，也就是说它们具有相同的权限和地位。
linux多核处理器上的负载均衡原理
cattycat的专栏
08-10 4820
<br />看到一篇文章，大概给总结了下，代码就不贴了。<br /> <br />现在很多服务器都是多核服务器了，Linux操作系统会自动把任务分配到不同的处理器上，并尽可能的保持负载均衡。<br />linux多核cpu上负载均衡两个问题：<br /> <br />1. 何时检查并调整负载情况？<br />2. 如何调整负载？<br /> <br />第一个问题，可以定时调整负载，这种方法虽然简单，但不高效。实际上，2.6.20版linux kernel的确使用软中断来定时调整多CPU上的压力（调用函数r
LINUX内核CPU负载均衡机制
SKCQTGZX的博客
11-15 498
而cpu_stopper则是cpu_stop_init函数通过cpu_stop_cpu_callback创建的migration内核线程，触发任务队列调度。还是神奇的进程调度问题引发的，参看Linux进程组调度机制分析，组调度机制是看清楚了，发现在重启过程中，很多内核调用栈阻塞在了double_rq_lock函数上，而double_rq_lock则是load_balance触发的，怀疑当时的核间调度出现了问题，在某个负责场景下产生了多核互锁，后面看了一下CPU负载平衡下的代码实现，写一下总结。
linux balance,linux调度器（五）- load balance(1）
weixin_39996141的博客
05-25 530
前面讲到了fair class的select_task_rq_fair函数，看到了其中的一段如下代码：group = find_idlest_group(sd, p, cpu, sd_flag);if (!group) {sd = sd->child;continue;}new_cpu = find_idlest_cpu(group, p, cpu);if (new_cpu == -1 ||...
进程调度--load balance
fengpsky
05-05 1319
现在计算机为多核处理器，操作系统会把任务分配到处理器上运行工作，但是如何均匀的分配任务？以及怎样调整何时调整任务的分配策略？    在linux系统中运用软中断来调整各个处理器的负载； __init void init_sched_fair_class(void) { #ifdef CONFIG_SMP open_softirq(SCHED_SOFTIRQ, run_rebala
Linux内核CPU可运行进程队列的负载均衡
嵌入式Linux内核的博客
02-18 1789
提到负载，我们首先会想到命令uptime或者top命令输出系统的平均负载(load average)，例如uptime的输出结果uptimeload average的三个值分别代表过去1分钟、5分钟、15分钟的系统平均负载，这三个值实际上来自于 /proc/loadavg, Linux的系统平均负载是系统中处于 runnable 与 uninterruptible 两个状态的任务总数与CPU数量的比值。CPU负载（cpu load）指的是某个时间点进程对系统产生的压力。
【内核调度、负载均衡】【load_balance】
勿于浮沙筑高台
07-15 1417
pull task pull task 是当前的cpu将busiest cpu上的task拉到自己身上来执行。 /* * Check this_cpu to ensure it is balanced within domain. Attempt to move * tasks if there is an imbalance. */ // 找出负载最重的cpu，将busiest cpu上的部分task迁移到local cpu上。 // 返回的是迁移的task的数量 static int l
推荐：均衡CPU负载的利器——Irqbalance
gitblog_00086的博客
05-10 634
推荐：均衡CPU负载的利器——Irqbalance irqbalanceThe irqbalance source tree - The new official site for irqbalance项目地址:https://gitcode.com/gh_mirrors/ir/irqbalance ** Irqbalance ** 是一个守护进程，旨在帮助平衡系统中由中断产生的CPU负载。它通...
RK3568平台开发系列讲解（调试篇）系统运行相关频率设置
内核笔记
09-17 1983
📢 CPU 默认是 interactive 状态，它会根据 CPU 使用率和目标负载来动态地调整 CPU 频率。为获得更高运行速度或者性能评估，我们需要手动固定频率。
Linux多核运行机制（SMP）
阿里云专家博主，51CTO专家博主、2022年博客之星Top96，嵌入式与物联网赛道Top2
11-26 9510
Linux多核运行机制（SMP）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

文艺小少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值