k8s调度器扩展（Scheduler Framework）、源码编译及部署

因为研究的需要，需要对K8S的调度器进行扩展，本文主要讲解了k8s调度器扩展的一个流程，其中包含源码修改、源码编译、调度器配置以及部署和本人所踩的一些坑，使用的k8s的版本为1.23.1

1.下载源码，在此选择v1.23.1版本：

git clone --branch v1.23.1 https://github.com/kubernetes/kubernetes.git

2. 扩展调度器

2.1 调度器的源码位置

调度器的源码在kubernetes/pkg/scheduler和kubernetes/cmd/kube-scheduler目录下，第一个路径是调度器的主要功能实现的代码，第二个是调度器的main文件所在位置

2.2 调度框架

调度器中的调度框架定义了一组扩展点，用户可以实现扩展点定义的接口来实现自己的调度逻辑，并将扩展注册到扩展点上。
如下图所示，有下面几个扩展点：

主要讲解几个重要的扩展点：
QueueSort：该扩展点用于对调度队列中的Pod进行排序，以决定优先调度哪个Pod
Filter：对节点进行过滤，排除那些不满足Pod运行的节点，比如Pod需要2G的内存，如果节点的可用内存小于2G那么就会被过滤掉。
Score：对过滤后的节点进行打分，最终选择一个得分最高的节点来运行该Pod
Bind：用于将Pod绑定到选择的节点上。

2.3 预选和优先阶段

k8s调度器的调度框架是基于预选和优选两个阶段的框架。

- 预选阶段：在该阶段，调度器将根据Pod的资源需求和节点的资源容量等信息，筛选出所有可行的节点，将它们标记为“可调度节点”。该阶段中，调度器将对各个节点依次执行注册的各个Filter插件（Filter插件可以有很多），只要有一个Filter插件不满足，就会排除掉该节点。
优选阶段：在该阶段，调度器将针对每个“可调度节点”，计算出一个得分，选取最高得分的节点，并将Pod绑定到该节点上。该阶段中，调度器将对经过过滤的各个阶段执行注册的各个Score插件（Score插件可以有很多）来对节点进行打分，最终对各个插件的打分进行聚合，最终选择得分最高的节点来运行Pod。

整个调度框架是可以扩展的，可以在预选和优选阶段之间添加过滤器和扩展器，以定制化地满足用户的需求。

源码分析：代码在kubernetes/pkg/scheduler/schedule_one.go中
        预选阶段：

        优选阶段：

2.4 扩展点的源码定义

如下图为QueueSortPlugin、FilterPlugin以及ScorePlugin，还有很多其它的插件，在这里就不介绍了

 

2.5 调度器扩展以及注册

k8s scheduler为我们提供了很多调度插件扩展点，我们可以实现这些插件来实现特定的一些功能。
如果要自己实现一个打分插件，那么需要下面的步骤：

1. 在kubernetes/pkg/scheduler/framework/plugins目录下创建自己的目录，编写代码实现插件定义的接口，比如Filter插件需要实现Filter这个方法，Score插件需要实现一个打分的方法Score
   实现后，需要将我们的方法注册进去，我们需要提供一个构造函数，类似于K8s中内置的插件
   下面为一个示例： 3. 然后在kubernetes/cmd/kube-scheduler/scheduler.go中注册插件：
   之后，就需要将源码进行编译然后部署到集群中了。
    

3. 编译二进制程序

k8s官方已经为我们提供了编译脚本，也就是Makefile
下面的命令可以将源码编译成二进制程序（执行下面的命令前需要在kubernetes目录下）：

make all WHAT=cmd/kube-scheduler GOFLAGS=-v

使用make all可以编译所有的二进制程序，使用WHAT可以选择单独编译某个程序，GOFLAGS用于给go编译器传递参数，-v表示在编译时显示正在编译的文件

编译成功后的二进制程序在_output/bin/文件夹下：

 

4.编译为镜像

使用下面的命令可以将程序编译为镜像：

注意：编译为docker镜像时依赖其它的镜像，比如kube-cross镜像，这些镜像需要科学上网才能下载，而且镜像很大，kube-cross有六点几个G

make quick-release-images 

使用该命令只会编译linux/amd64平台下的docker镜像，而且无法指定单独编译某个组件

编译完成后的镜像在_output/release-images/amd64目录下，为tar包

将tar包导入docker镜像：