Linux内核必懂知识—调度器分析及完全公平调度器CFS

CFS-完全公平调度器 CFS实现的公平的基本原理是这样的:指定一个周期,根据进程的数量,大家”平分“这个调度周期内的CPU使用权,调度器保证在一个周期内所有进程都能被执行到。CFS和之前O(n)调度器不同,优先级高的进程能获得更多运行时间,但不代表优先级高的进程一定就先运行: 调度器使用vruntime来统计进程运行的累计时间,理想状态下,所有进程的vruntime是相等时代表当前CPU的时间分配是完全公平的。但事实... 阅读详情

调度器分析

调度器

  • 内核中安排进程执行的模块,用以切换进程状态。

  • 做两件事:选择某些就绪进程来执行;打断某些执行的进程让其变为就绪状态。

  • 分配CPU时间的基本依据:进程优先级。 上下文切换(context switch):将进程在CPU中切换执行的过程,内核承担 此任务,负责重建和存储被切换掉之前的CPU状态。

调度类sched_class结构体与调度类

sched_class结构体表示调度类,定义在kernel/sched/sched.h。

  • 成员解析 ecqueue_task:向就绪队列添加一个进程,某个任务进入可运行状态时,该函数将会被调用,它将调度实体放入到红黑树中。 dequeue_task:将一个进程从就绪队列中进行删除,当某个任务退出可运行状态时调用该函数,它将从红黑树中去掉对应调度实体。 yield_task:在进程想要资源放弃对处理器的控制权时,可食用在sched_yield系统调用,会调用内核API去处理操作。 check_preempt_curr:检查当前运行任务是否被抢占。 pick_next_task:选在接下来要运行的最合适的实体(进程)。 put_prev_task:用于另一个进程代替当前运行的进程。 set_curr_task:当任务修改它的调用类或修改它的任务组时,将调用这个函数。 task_tick:在每次激活周期调度器时,由周期性调度器调用。

  • 源码注释

// 系统当中有多个调度类,按照调度优先级排成一个链表,下一个优先级调度类
	const struct sched_class *next;
	// 将进程加入到执行队列当中,即将调度实体(进程)存放到红黑树中,并对nr_running变量自动加1
	void (*enqueue_task) (struct rq *rq, struct task_struct *p, int flags);
	// 从执行队列当中删除进程,并对nr_running变量自动减1
	void (*dequeue_task) (struct rq *rq, struct task_struct *p, int flags);
	// 放弃CPU执行权,实际上该函数执行先出队后入队,在这种情况下,它直接将调度实体放在红黑树的最右端
	void (*yield_task) (struct rq *rq);
	bool (*yield_to_task) (struct rq *rq, struct task_struct *p, bool preempt);
	// 用于检查当前进程是否可以被新的进程抢占
	void (*check_preempt_curr) (struct rq *rq, struct task_struct *p, int flags);

	/*
	 * It is the responsibility of the pick_next_task() method that will
	 * return the next task to call put_prev_task() on the @prev task or
	 * something equivalent.
	 *
	 * May return RETRY_TASK when it finds a higher prio class has runnable
	 * tasks.
	 */
	// 选择下一个应该要运行的进程
	struct task_struct * (*pick_next_task) (struct rq *rq,
						struct task_struct *prev);
	// 将进程放回到运行队列当中 
	void (*put_prev_task) (struct rq *rq, struct task_struct *p);

#ifdef CONFIG_SMP
	// 为进程选择一个合适的CPU
	int  (*select_task_rq)(struct task_struct *p, int task_cpu, int sd_flag, int flags);
	// 迁移任务到另一个CPU
	void (*migrate_task_rq)(struct task_struct *p);
	// 专门用户唤醒进程	
	void (*task_waking) (struct task_struct *task);
	void (*task_woken) (struct rq *this_rq, struct task_struct *task);
	// 修改进程在CPU的亲和力
	void (*set_cpus_allowed)(struct task_struct *p,
				 const struct cpumask *newmask);
	// 启动运行队列
	void (*rq_online)(struct rq *rq);
	// 禁止运行队列
	void (*rq_offline)(struct rq *rq);
#endif
	// 当进程改变它的调度类或进程组时被调用
	void (*set_curr_task) (struct rq *rq);
	// 调用自己time_tick函数,可能引起进程切换,将驱动运行时抢占
	void (*task_tick) (struct rq *rq, struct task_struct *p, int queued);
	// 当进程创建时候调用,不同调度策略的进程初始化不一样
	void (*task_fork) (struct task_struct *p);
	// 进程退出时会使用
	void (*task_dead) (struct task_struct *p);

	/*
	 * The switched_from() call is allowed to drop rq->lock, therefore we
	 * cannot assume the switched_from/switched_to pair is serliazed by
	 * rq->lock. They are however serialized by p->pi_lock.
	 */
	// 专门用于进程切换操作
	void (*switched_from) (struct rq *this_rq, struct task_struct *task);
	void (*switched_to) (struct rq *this_rq, struct task_struct *task);
	// 更改进程优先级 
	void (*prio_changed) (struct rq *this_rq, struct task_struct *task,
			     int oldprio);

	unsigned int (*get_rr_interval) (struct rq *rq,
					 struct task_struct *task);

	void (*update_curr) (struct rq *rq);

#ifdef CONFIG_FAIR_GROUP_SCHED
	void (*task_move_group) (struct task_struct *p);
#endif
};
```struct sched_class {
	// 系统当中有多个调度类,按照调度优先级排成一个链表,下一个优先级调度类
	const struct sched_class *next;
	// 江金城加入到执行队列当中,即将调度实体(进程)存放到红黑树中,并对nr_running变量自动加1
	void (*enqueue_task) (struct rq *rq, struct task_struct *p, int flags);
	// 从执行队列当中删除进程,并对nr_running变量自动减1
	void (*dequeue_task) (struct rq *rq, struct task_struct *p, int flags);
	// 放弃CPU执行权,实际上该函数执行先出队后入队,在这种情况下,它直接将调度实体放在红黑树的最右端
	void (*yield_task) (struct rq *rq);
	bool (*yield_to_task) (struct rq *rq, struct task_struct *p, bool preempt);
	// 用于检查当前进程是否可以被新的进程抢占
	void (*check_preempt_curr) (struct rq *rq, struct task_struct *p, int flags);

	/*
	 * It is the responsibility of the pick_next_task() method that will
	 * return the next task to call put_prev_task() on the @prev task or
	 * something equivalent.
	 *
	 * May return RETRY_TASK when it finds a higher prio class has runnable
	 * tasks.
	 */
	// 选择下一个应该要运行的进程
	struct task_struct * (*pick_next_task) (struct rq *rq,
						struct task_struct *prev);
	// 将进程放回到运行队列当中 
	void (*put_prev_task) (struct rq *rq, struct task_struct *p);

#ifdef CONFIG_SMP
	// 为进程选择一个合适的CPU
	int  (*select_task_rq)(struct task_struct *p, int task_cpu, int sd_flag, int flags);
	// 迁移任务到另一个CPU
	void (*migrate_task_rq)(struct task_struct *p);
	// 专门用户唤醒进程	
	void (*task_waking) (struct task_struct *task);
	void (*task_woken) (struct rq *this_rq, struct task_struct *task);
	// 修改进程在CPU的亲和力
	void (*set_cpus_allowed)(struct task_struct *p,
				 const struct cpumask *newmask);
	// 启动运行队列
	void (*rq_online)(struct rq *rq);
	// 禁止运行队列
	void (*rq_offline)(struct rq *rq);
#endif
	// 当进程改变它的调度类或进程组时被调用
	void (*set_curr_task) (struct rq *rq);
	// 调用自己time_tick函数,可能引起进程切换,将驱动运行时抢占
	void (*task_tick) (struct rq *rq, struct task_struct *p, int queued);
	// 当进程创建时候调用,不同调度策略的进程初始化不一样
	void (*task_fork) (struct task_struct *p);
	// 进程退出时会使用
	void (*task_dead) (struct task_struct *p);

	/*
	 * The switched_from() call is allowed to drop rq->lock, therefore we
	 * cannot assume the switched_from/switched_to pair is serliazed by
	 * rq->lock. They are however serialized by p->pi_lock.
	 */
	// 专门用于进程切换操作
	void (*switched_from) (struct rq *this_rq, struct task_struct *task);
	void (*switched_to) (struct rq *this_rq, struct task_struct *task);
	// 更改进程优先级 
	void (*prio_changed) (struct rq *this_rq, struct task_struct *task,
			     int oldprio);

	unsigned int (*get_rr_interval) (struct rq *rq,
					 struct task_struct *task);

	void (*update_curr) (struct rq *rq);

#ifdef CONFIG_FAIR_GROUP_SCHED
	void (*task_move_group) (struct task_struct *p);
#endif
};

Linux调度类

dl_sched_class、rt_sched_class、fair_sched_class及idle_sched_class等。每个进程都有对应一种调度策略,每一种调度策略又对应一种调度类(每一个调度类可以对应多种调度策略)。

extern const struct sched_class stop_sched_class;
extern const struct sched_class dl_sched_class;
extern const struct sched_class rt_sched_class;
extern const struct sched_class fair_sched_class;
extern const struct sched_class idle_sched_class;
rt_sched_class类 实时调度器(调度策略:SCHED_FIFO SCHED_RR)
fair_sched_class类 完全公平调度器(调度策略:SCHED_NORMAL、SCHED_BATCH) 
SCHED_FIFO调度策略的实时进程永远比SCHED_NORMAL调度策略的普通进程优先运行。eg:pick_next_task函数。 
调度类优先级顺序:stop_sched_class > dl_sched_class > rt_sched_class > fair_sched_class > idle_sched_class. 
stop_sched_class:优先级最高的线程,会中断所有其他线程,并且不会被其他任务打断。 
dl_sched_class 
rt_sched_class:作用于实时线程。 
fair_sched_class: 公平调度器CFS,作用: 一般常用线程。 
idle_sched_class: 每个CPU的第一个PID=0线程,swapper,是一个静态线程。每个调度类属于
idle_sched_class。一般运行在开机过程和CPU异常时会做dump。 SCHED_NORMAL,SCHED_BATCH,SCHED_IDLE直接被映射到fair_sched_class; 
SCHED_RR,SCHED_FIFO与rt_sched_class相关联。
* Simple, special scheduling class for the per-CPU stop tasks:
 */
const struct sched_class stop_sched_class = {
	.next			= &dl_sched_class,

	.enqueue_task		= enqueue_task_stop,
	.dequeue_task		= dequeue_task_stop,
	.yield_task		= yield_task_stop,

	.check_preempt_curr	= check_preempt_curr_stop,

	.pick_next_task		= pick_next_task_stop,
	.put_prev_task		= put_prev_task_stop,

#ifdef CONFIG_SMP
	.select_task_rq		= select_task_rq_stop,
	.set_cpus_allowed	= set_cpus_allowed_common,
#endif

	.set_curr_task          = set_curr_task_stop,
	.task_tick		= task_tick_stop,

	.get_rr_interval	= get_rr_interval_stop,

	.prio_changed		= prio_changed_stop,
	.switched_to		= switched_to_stop,
	.update_curr		= update_curr_stop,
};

Linux调度核心选择下一个合适的task运行时,会按照优先级顺序遍历调度类的pick_next_task函数。

学习思维导图以及Linux内核相关学习视频,清晰版导图可以点击:linux内核学习资料 获取

Linux内核开发系统学习视频链接:Linux内核源码/内存调优/文件系统/进程管理/设备驱动/网络协议栈学习视频

​

优先级

  • task_struct结构体中采用三个成员表示进程的优先级:prio和normal_prio表示动态优先级, static_prio表示进程的静态优先级。

  • 内核将任务优先级划分,实时优先级范围是0到MAX_RT_PRIO-1(即99),而普通进 程的静态优先级范围是从MAX_RT_PRIO到MAX_PRIO-1(即100到139)。数字越小优先级越高。

/*
 * Priority of a process goes from 0..MAX_PRIO-1, valid RT
 * priority is 0..MAX_RT_PRIO-1, and SCHED_NORMAL/SCHED_BATCH
 * tasks are in the range MAX_RT_PRIO..MAX_PRIO-1. Priority
 * values are inverted: lower p->prio value means higher priority.
 *
 * The MAX_USER_RT_PRIO value allows the actual maximum
 * RT priority to be separate from the value exported to
 * user-space.  This allows kernel threads to set their
 * priority to a value higher than any user task. Note:
 * MAX_RT_PRIO must not be smaller than MAX_USER_RT_PRIO.
 */

#define MAX_USER_RT_PRIO	100
#define MAX_RT_PRIO		MAX_USER_RT_PRIO

#define MAX_PRIO		(MAX_RT_PRIO + NICE_WIDTH)
#define DEFAULT_PRIO		(MAX_RT_PRIO + NICE_WIDTH / 2)
  • 进程分类

  • 实时进程(Real-Time Process):优先级高、需要立即被执行的进程。

  • 普通进程(Normal Process):优先级低、更长执行时间的进程。

调度策略

unsigned int policy:保存进程的调度策略(5种)

  • SCHED_NORMAL:用于普通进程,通过CFS调度器实现。

  • SCHED_BATCH: 相当于SCHED_NORMAL分化版本,采用分时策略,根据动态优先级,分配CPU运行需要资源。用于非交互处理器消耗型进程。

  • SCHED_IDLE:优先级最低,在系统空闲时才执行这类进程。系统负载很低时使用CFS。

  • SCHED_FIFO:先进先出调度算法(实时调度策略),相同优先级任务先到先服务,高优先级任务可以抢占低优先级任务。

  • SCHED_RR:轮流调度算法(实时调度策略)。

  • SCHED_DEADLINE:新支持实时进程调度策略,针对突发性计算。

/*
 * Scheduling policies
 */
#define SCHED_NORMAL		0
#define SCHED_FIFO		1
#define SCHED_RR		2
#define SCHED_BATCH		3
/* SCHED_ISO: reserved but not implemented yet */
#define SCHED_IDLE		5
#define SCHED_DEADLINE		6

完全公平调度算法(时间片轮询调度算法)

​实现完全公平调度算法,要为进程定义两个时间:

  1. 实际运行时间  实际运行时间=调度周期进程权重/所有进程权重之和。 调度周期:指所有进程运行一遍所需要的时间。 进程权重:根据进程的重要性,分配给每个进程不同的权重。

  2. 2.虚拟运行时间 虚拟运行时间=实际运行时间1024/进程权重=(调度周期进程权重/所有进程权重之和) 1024/进程权重=调度周期*1024/所有进程总权重。 一个调度周期里,所有进程的虚拟运行时间相同。

  • 基本原理 CFS定义一种新调度模型,它给cfs_rq(cfs的run queue)中的每一个进程都设置一个虚 拟时钟-virtual runtime(vruntime)。如果一个进程得以执行,随着执行时间的不断增长,其 vruntime也将不断增大,没有得到执行的进程vruntime将保持不变。

调度器结构分析

任务:合理分配CPU时间给运行进程。

目标:有效分配CPU是时间片。

​主调度器:通过schedule()函数来完成进程的选择和切换。 周期调度器:根据频率自动调用scheduler_tick函数,作用:根据进程运行时间触发调度。 上下文切换:主要做两件事:切换地址空间;切换寄存器和栈空间。

CFS就绪队列

调度管理是各个调度器的职责。CFS的顶级调度就队列struct cfs_rq。

/* CFS-related fields in a runqueue */
// CFS调度运行队列,每个CPU的rq都会包含一个cfs_rq,每个组调度的sched_entity也会有一个cfs_rq队列
struct cfs_rq {
	// CFS运行队列中所有进程总负载
	struct load_weight load;
	// nr_running::cfs_rq中调度实体数量
	// h_nr_running 只对进程有效
	unsigned int nr_running, h_nr_running;

	u64 exec_clock;
        //跟踪记录队列所有进程最小虚拟运行时间
	u64 min_vruntime;
#ifndef CONFIG_64BIT
	u64 min_vruntime_copy;
#endif
	// 红黑树的root  用于在按时间排序的红黑树中管理所有进程
	struct rb_root tasks_timeline;
	// 下一个调度结点(红黑树最左边结点就是下个调度实体)
	struct rb_node *rb_leftmost;

	/*
	 * 'curr' points to currently running entity on this cfs_rq.
	 * It is set to NULL otherwise (i.e when none are currently running).
	 */
	struct sched_entity *curr, *next, *last, *skip;

#ifdef	CONFIG_SCHED_DEBUG
	unsigned int nr_spread_over;
#endif

#ifdef CONFIG_SMP
	/*
	 * CFS load tracking
	 */
	struct sched_avg avg;
	u64 runnable_load_sum;
	unsigned long runnable_load_avg;
#ifdef CONFIG_FAIR_GROUP_SCHED
	unsigned long tg_load_avg_contrib;
#endif
	atomic_long_t removed_load_avg, removed_util_avg;
#ifndef CONFIG_64BIT
	u64 load_last_update_time_copy;
#endif

#ifdef CONFIG_FAIR_GROUP_SCHED
	/*
	 *   h_load = weight * f(tg)
	 *
	 * Where f(tg) is the recursive weight fraction assigned to
	 * this group.
	 */
	unsigned long h_load;
	u64 last_h_load_update;
	struct sched_entity *h_load_next;
#endif /* CONFIG_FAIR_GROUP_SCHED */
#endif /* CONFIG_SMP */

#ifdef CONFIG_FAIR_GROUP_SCHED
	struct rq *rq;	/* cpu runqueue to which this cfs_rq is attached */

	/*
	 * leaf cfs_rqs are those that hold tasks (lowest schedulable entity in
	 * a hierarchy). Non-leaf lrqs hold other higher schedulable entities
	 * (like users, containers etc.)
	 *
	 * leaf_cfs_rq_list ties together list of leaf cfs_rq's in a cpu. This
	 * list is used during load balance.
	 */
	int on_list;
	struct list_head leaf_cfs_rq_list;
	struct task_group *tg;	/* group that "owns" this runqueue */

#ifdef CONFIG_CFS_BANDWIDTH
	int runtime_enabled;
	u64 runtime_expires;
	s64 runtime_remaining;

	u64 throttled_clock, throttled_clock_task;
	u64 throttled_clock_task_time;
	int throttled, throttle_count;
	struct list_head throttled_list;
#endif /* CONFIG_CFS_BANDWIDTH */
#endif /* CONFIG_FAIR_GROUP_SCHED */
};

总结

本文主要介绍了调度器分析:功能,调度类sched_class结构体与调度类;Linux调度类(5种)及其优先级,调度策略(5种);完全公平调度算法,包括实际运行时间、虚拟运行时间,调度器结构分析,CFS就绪队列等内容。

Linux内核学习大纲:Linux内核学习思维导图

视频学习链接:Linux内核源码/内存调优/文件系统/进程管理/设备驱动/网络协议栈

Linux进程调度-CFS调度器原理分析及实现,懂了 1. 概述 (1) Completely Fair Scheduler,完全公平调度器,用于Linux系统中普通进程的调度。 (2) CFS采用了红黑树算法来管理所有的调度实体 sched_entity,算法效率为O(log(n))。CFS跟踪调度实体sched_entity的虚拟运行时间vruntime,平等对待运行队列中的调度实体sched_entity,将执行时间少的调度实体sched_entity排列到红黑树的左边。 (3) 调度实体sched_entity通过 enqueue_entity()和 阅读详情

相关推荐

进程管理笔记三、完全公平调度算法CFS

进程管理笔记三、CFS调度算法 引言:CFS是英文Completely Fair Scheduler的缩写,即完全公平调度器,负责进程调度。在Linux Kernel 2.6.23之后采用,它负责将CPU资源,分配给正在执行的进程,目标在于最大化程式互动效能,最小化整体CPU的运用。使用红黑树来实现,算法效率为O(log(n))。 一、CFS调度算法原理   调度算法最核心的两点即为...

邓博学习笔记 8601

Linux CFS调度

本文主要分析Linux内核CFS调度算法实现,未完待续

5972

linux内核CFS进程调度策略

一、概述 首先简单介绍一下基本的设计思路, CFS思路很简单,就是根据各个进程的权重分配运行时间(权重怎么来的后面再说)。 进程的运行时间计算公式为: 分配给进程的运行时间 = 调度周期 * 进程权重 / 所有进程权重之和   (公式1) 调度周期很好理解,就是将所有处于TASK_RUNNING态进程都调度一遍的时间, 差不多相当于O(1)调度算法中运行队列和过期队列切换一次的时间

鱼思故渊的专栏 5693

linux进程调度器概述(一)

   进程分为实时进程和普通进程,实时进程主要为音频、视频等相关的进程;普通进程主要为:交互式进程(文档编辑器)和批处理进程(编译器)。     linux调度器分为周期性调度器和主调度器;周期性调度器在schedule_tick中实现,主调度器在schedule中实现。    每个cpu都会产生tick event,在tick event中调用schedule_tick,完成周期性调度器的任务:...

qq_38712943的博客 938

K8s认证文件丢失的应急处理与恢复策略

本文详细介绍了Kubernetes(K8s)认证文件丢失时的应急处理与恢复策略。从快速诊断问题范围到不同场景的临时解决方案,再到深度恢复方案(无损重建、部分重置、完全重建),提供了全面的操作指南。同时强调了生产环境中的防丢失设计、高可用集群的特殊处理以及日常运维建议,帮助运维人员有效应对认证文件丢失的紧急情况。

weixin_33743248的博客 328

Unity UI适配核心:Canvas Scaler模式解析与2023版避坑指南

UI适配是游戏与应用开发中的基础挑战,其核心在于确保界面元素在不同屏幕分辨率与设备上保持视觉一致与功能可用。原理上,系统通过坐标转换与缩放计算,将设计稿的布局映射到物理屏幕。技术价值在于提升用户体验的一致性与产品的跨平台兼容性。应用场景广泛覆盖手游、PC端应用及各类交互界面。本文聚焦Unity引擎中的Canvas Scaler组件,深入剖析其Scale With Screen Size等模式的工作原理,并结合锚点设置、安全区域处理等高频搜索热词,提供解决UI错位、拉伸及异形屏适配等常见问题的工程实践方案,帮

weixin_30920597的博客 623

Linux进程

Linux进程一、fork函数使用二、实际应用场景1、网络进程2、一个进程执行一个不同的程序三、vfork函数四、进程退出1、正常退出main函数调用return进程调用exit()函数,标准C库进程调用_exit() 或者 _Exit(),属于系统调用2、异常退出调用abort进程收到某些信号时,如 ctrl + C五、父进程等待子进程退出子进程退出状态不被收集会变成僵尸进程父进程收集子进程退出码孤儿进程 一、fork函数使用 #include <stdio.h> #include <s

。 502

【DIY】使用STM32及PID算法实现一个磁悬浮玩具

今天教大家来做一个磁悬浮玩具。

小白白学电子 1万+

linux 调度 处理器时间,linux调度器(一)

本次分析的kernel代码为2.6.32-220。并且我们先不考虑SMP。当前linux的调度程序由两个调度器组成:主调度器,周期性调度器(两者又统称为核心调度器);并且每个调度器包括两个内容:调度框架(其实质就是两个函数框架)及调度器类。调度器类是实现了不同调度策略的实例,如 CFS、RT class。它们的关系如下图:图 调度器的组成当前的内核支持两种调度器类(sched_setschedul...

weixin_35045970的博客 633

手把手教你用Cesium和RayMarching实现逼真体积云(附完整Shader代码)

本文详细介绍了如何利用Cesium和RayMarching技术实现逼真的体积云效果,包括环境准备、核心逻辑、云层建模和光照增强等关键步骤,并提供了完整的Shader代码。通过噪声函数选型、动态风场模拟和多重散射近似等技术,开发者可以在数字地球可视化项目中创建沉浸式天气效果,显著提升场景的真实感。

weixin_29230649的博客 420

ISO26262 功能安全各个阶段测试要求

1. 开发过程说明 系统层面:包括软硬件集成测试、系统集成测试以及整车测试。 硬件层面:包括硬件集成与测试。 软件层面:单元测试、集成测试。 2. 功能安全总体要求 2.1 各项指标 2.2 诊断覆盖度举例 针对一个信号举例说明: 3. 功能安全测试要求 3.1 测试计划 核心内容应包括, 测试对象:需要测试的对象描述,以及测试的范围描...

AgingMoon的博客 1万+

linux调度器源码分析(二) - 初始化

每个CPU(多核COU中的每个核)都有自己的struct rq队列,而rq队列中又有着自己的struct cfs_rq和struct rt_rq。在初始化时就是对这三个结构进行初始化。 1 init_task和init进程 在start_kernel函数中,进行了系统启动过程中几乎所有重要的初始化(有一部分在boot中初始化,有一部分在start_kernel之前的汇编代码进行初始化),包括内...

oqqYuJi12345678的博客 616

【实战】Python 携程酒店价格实时抓取爬虫项目全解析

摘要:本文介绍了一个基于Python的携程酒店价格实时抓取系统开发方案。系统采用Requests、BeautifulSoup和Selenium等技术栈,实现了多城市、多日期的酒店数据采集,包括价格、评分、位置等关键信息。通过请求头伪装、IP代理、随机等待等反爬策略,有效应对携程的反爬机制。系统支持数据清洗、去重和CSV/Excel导出,并提供了多线程优化、代理池集成等进阶方案。本文详细阐述了技术原理、代码实现和优化策略,同时强调了数据采集的合法合规性,为旅游行业数据分析提供了可靠的数据获取方案。

2503_91057718的博客 2609

CFS完全公平调度器

Linux的CFS调度原理、优化了上篇文章对于进程创建的理解

电气工程专业本科生、辅修计算机。分享嵌入式、后端等方面的系统学习路径。 1116

在 SAP BTP ABAP Environment 里把 ATC 跑成流水线:定时检查 + 告警邮件,一次打通

摘要 本文介绍了如何在SAP BTP ABAP环境中实现ATC检查的自动化流程。通过将ATC与质量体系结合,构建从检查到通知的完整闭环:使用Custom Code Analysis Project定义检查范围,通过Application Jobs实现定时调度,利用标准CDS View读取结果,最后开发通知作业发送告警邮件。文章重点阐述了云环境下不同于On-Premise的实现思路,包括Test Variant设计、作业编排模板应用等关键环节,并提供了可落地的代码示例。这种自动化方案能有效解决人工检查的滞后性

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 170

Apache Jena SPARQL 查询完全指南:入门与实战案例

本文介绍了使用Apache Jena执行SPARQL查询的完整指南。SPARQL是用于RDF数据的标准查询语言,在知识图谱领域地位相当于SQL。教程从基础开始,涵盖创建模型、加载数据以及执行各种查询类型。特别强调了WHERE子句中的图模式匹配机制,通过Mermaid图直观展示数据图与查询图的匹配过程。文章还对比了变量命名规范(?和$前缀),解释了SPARQL引擎如何通过变量绑定实现数据检索。通过Hello World示例演示了完整查询流程,为开发者提供了SPARQL的实用入门指导。

Lincoln 的专栏 1378

深入剖析 Linux 进程调度机制:聚焦完全公平调度器 (CFS)

Linux 的 CFS 调度器是一个工程杰作,它通过创新的虚拟运行时间 (vruntime) 概念和高效的红黑树数据结构,在理论公平性、实际交互性、吞吐量和实现简洁性之间取得了卓越的平衡。它摒弃了复杂的启发式规则,用统一、简洁的模型 (vruntime增长速率反比于权重) 自然地实现了对不同优先级 (nice)、不同类型(交互式/批处理)进程的公平调度和良好响应。模块化的调度类设计确保了实时任务能够得到及时处理。组调度 () 的引入则完美适应了云计算和容器化时代对资源隔离和精确控制的需求。

JarVis的博客 1131

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

Linux内核CFS完全公平调度器:从vruntime到负载均衡的深度实现分析

CFS核心机制是vruntime归一化:实际运行时间乘以(NICE_0_LOAD/weight),将不同优先级进程统一到虚拟时间维度进行公平比较红黑树以vruntime为键值组织可运行进程,最左节点总是下一个被调度的进程,配合最左节点缓存实现O(1)选取调度周期默认6ms(nr_running≤8),超8个时按进程数等比例增长,保证每个进程最小粒度0.75ms负载均衡使用PELT几何衰减累积负载,半衰期32ms(y≈0.9785),通过软中断触发进程在CPU间的迁移。

jiang_style的博客 4581

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Linux CFS 完全公平调度器

在 Linux 内核中,进程调度器决定了"谁能使用 CPU、用多久"。自 2.6.23 版本引入的CFS(Completely Fair Scheduler,完全公平调度器)彻底改变了 Linux 的调度策略——它不再给进程分配固定的时间片,而是通过一套优雅的虚拟时间机制,让所有进程按权重"公平"地共享 CPU。nice 权重机制:用户如何影响调度?nice 值的内核计算链:从用户空间到内核权重表的完整路径CFS 核心原理:vruntime、红黑树与抢占决策用权重替代固定时间片。

huayidw的博客 782

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

Linux 进程调度器:从 CFS 原理到生产环境调优实战

Linux CFS 调度器通过 vruntime 红黑树实现了公平且高效的进程调度,但其"公平优先"的设计哲学并非所有场景的最优解。生产环境中的调度调优需要根据工作负载特征进行针对性配置:延迟敏感型任务需要增大时间片和绑定核心,吞吐优先型任务需要缩短调度周期,容器化环境需要合理设置 cgroup 权重层级。基线测量:使用perf sched和建立当前系统的调度行为基线,量化上下文切换频率和调度延迟分布。参数调优:根据工作负载类型调整 CFS 参数。Web 服务建议;批处理任务建议默认值或更小的延迟。

jiang_style的博客 5812

Java面试必备:听说过CFS吗?——理解完全公平调度器

CFS(Completely Fair Scheduler,完全公平调度器)是Linux内核中的一种进程调度算法,自Linux 2.6.23版本起成为默认的进程调度器。它取代了之前的O(1)调度器,旨在提供更公平的CPU时间分配。

qq_58299462的博客 1183

Linux内核中的进程调度-调度器基础

本文全面探讨了Linux内核的调度器机制,首先从基础概念入手,阐述了调度器在操作系统中扮演的角色——负责管理和协调系统中各个进程对CPU资源的访问,确保系统整体性能和响应能力。文章深入解析了Linux内核对调度器的具体实现。

qq_45652092的博客 2859

Linux 任务调度探秘(中):完全公平调度器(CFS)

现在我们可以大致理解为何需要“调度实体”这一结构:任务(task_struct)和任务组(task_group)是两种不同的数据结构,为了在调度过程中实现统一处理,内核将它们共有的调度相关信息封装起来,抽象出一个通用的结构——即“调度实体”。简单说:CFS调度总是选择 vruntime 最小的任务来运行——也就是红黑树中最左侧的节点,但也会结合调度器的提示(如 next、last、skip 等),在不破坏公平性的前提下,适当优化响应性和调度效率。中间的孩子“装备简陋”,nice值低,她跑得比较慢。

advdbgger的博客 875

【Linux 内核】CFS 调度器 ① ( CFS 完全公平调度器概念 | CFS 调度器虚拟时钟 Virtual Runtime 概念 | 四种进程优先级 | 五种调度类 )

一、CFS 调度器概念 ( 完全公平调度器 )、 二、CFS 调度器虚拟时钟概念 ( Virtual Runtime )、 三、进程优先级 ( 调度优先级 | 静态优先级 | 正常优先级 | 实时优先级 )、 四、调度类 ( 停机调度类 | 限期调度类 | 实时调度类 | 公平调度类 | 空闲调度类 )

让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 ) 3309

Linux CFS(完全公平调度器)全面总结

基本目标• 完全公平:按权重而非绝对时间分配CPU份额• 低开销:调度决策高效,适合大规模任务• 良好响应性:保证交互式任务及时响应公平性定义• 公平 = 每个任务获得与其权重成比例的CPU时间• 高优先级任务(低nice值)获得更多CPU时间• 防止任何任务饿死vruntime计算vruntime_increase = 实际运行时间 × (NICE_0_LOAD / 任务权重)• 普通优先级任务:vruntime ≈ 实际运行时间• 高优先级任务:vruntime增长更慢。

woai110120130的专栏 1053
上一篇: 后端开发【一大波有用知识】数据库之mysql索引原理详解
下一篇: 分布式缓存—缓存与数据库强一致场景下的方案
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值