自定义scheduler plugin扩展开发

已于 2023-10-26 19:24:58 修改
阅读量292 收藏 1
点赞数
分类专栏： kubernetes 文章标签： docker kubernetes 云原生 容器 服务发现 rancher
于 2023-10-26 19:21:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/MinutkiBegut/article/details/134062844
版权

自定义scheduler plugin扩展开发

有两种方式可以实现自定义调度

  1. default scheduler recording：配置修改，直接在k8s默认scheduler配置基础上进行添加，然后重新编译kube-scheduler
  2. scheduler framework：插件实现，源码层面实现plugin，重新编译kube-scheduler

配置修改

创建一个policy.cfg文件，内容为：

{
   "kind":"Policy","apiVersion":"v1","priorities":[{
   "name":
最低0.47元/天 解锁文章
dolphinscheduler 增加自定义task类型
weixin_40455124的博客
08-01 1386
task数据处理相关项目及数据保存 dolphinscheduler的task 处理可以分为 1、前台录入，主要是api及ui两个子项目负责，但API保存是以process为单元，增加task类型不牵涉到API的调整 2、数据格式效验及序列号，主要是common子项目 3、执行，server子项目总的worker部分负责 数据保存在如下字段内： SELECT a.process_definition_json FROM t_ds_process_definition a 以下为一个ta
一文读懂Kubernetes Scheduler扩展功能
小小小小杜
06-26 3616
前言 Scheduler是Kubernetes组件中功能&逻辑相对单一&简单的模块，它主要的作用是：watch kube-apiserver，监听PodSpec.NodeName为空的pod，并利用预选和优选算法为该pod选择一个最佳的调度节点，最终将pod与该节点进行绑定，使pod调度在该节点上运行 展开上述调用流程中的scheduler部分，内部细节调用(参考Kubernetes Scheduler)如图所示： scheduler内部预置了很多预选和优选算法(参考scheduler_
Scheduler Plugins：提升Kubernetes调度效率的开源利器
gitblog_01123的博客
08-07 1081
Scheduler Plugins：提升Kubernetes调度效率的开源利器 scheduler-pluginsKubernetes调度器插件项目，提供多种调度插件，以满足不同场景的需求。 - 功能：调度策略定制、调度插件扩展等。 - 特点：支持多种调度插件；易于扩展；与Kubernetes核心调度器集成。项目地址:https://gitcode.com/gh_mirrors/sc/s...
Quartz Scheduler Listener & SchedulerPlugin
来啊 快活啊
03-31 820
XxxListener JobListener + TriggerListener + SchedulerListener JobListener内置实现 JobListener#SampledStatisticsImpl(jobsScheduledCount + jobsExecutingCount + jobsCompletedCount) JobListener#ExecutingJobM...
【scheduler-plugins + prometheus】自定义流量感知插件开发
weixin_45842471的博客
11-26 1248
使用scheduler-plugin自定义调度器实现
推荐开源项目：Scheduler Plugins - 精准控制你的 Kubernetes 调度器
gitblog_00064的博客
05-16 534
推荐开源项目：Scheduler Plugins - 精准控制你的 Kubernetes 调度器 scheduler-pluginsKubernetes调度器插件项目，提供多种调度插件，以满足不同场景的需求。 - 功能：调度策略定制、调度插件扩展等。 - 特点：支持多种调度插件；易于扩展；与Kubernetes核心调度器集成。项目地址:https://gitcode.com/gh_mir...
k8s scheduler plugin调度插件
02-14
在本课程中，我们将深入探讨Kubernetes的scheduler plugin调度插件。 首先，Scheduler插件是Kubernetes中的一个重要组成部分，它允许开发者自定义调度逻辑，以满足特定的业务需求。这些插件是Scheduler决策过程中的...
Kubernetes scheduler 概述及自定义调度器
凌虚Blog
06-15 1402
不写代码，调整组合已有的默认插件，从而定义新的调度器。实现接口代码，然后定义调度器。本文将会描述第一种方式，通过调整默认插件的方式快速定义一个新的调度器。默认插件(默认)、和，这三种策略的目的分别是优先选择资源使用率最低的节点、优先选择资源使用率较高的节点从而最大化节点资源使用率、以及平衡节点的资源使用率。默认插件绑定卷的默认超时时间是 600 秒。示例中，我将自定义一个调度器，将的评分策略配置为的超时时间配置为 60 秒。
kube-scheduler的Plugin解析
weixin_42663840的博客
03-14 8452
前言 下图是维基百科关于Plug-in (computing)示例插件框架，关于插件机制实现的原理不了解的读者可以看看，本文不赘述了。 但是上图中几个知识点本文会提及，所以此处重点说明一下： 宿主应用(Host Application): kube-scheduler就是宿主应用，因为所有插件都是给kube-scheduler使用的。 插件管理器(Plugin Manager): 原理上讲Scheduling Profile(后文会有介绍)充当了插件管理器的角色，因为它可以配置使能/禁止插件的.
Kube-Scheduler插件的自定义
Free雅轩的博客
01-15 559
k8s的发展越来越像是一个框架，然后把各种扩展的能力留给开发者。开发者可以基于这些接口结合自己的业务场景，实现自己的场景化需求。其中kube scheduler 就是充分体现了这个特质，关于kube scheduler 本身的介绍参加之前的文章，今天我想介绍如何给scheduler 添加一个调度plugin。 我们首先通过yaml定义这个plugin apiVersion: kubescheduler.config.k8s.io/v1beta1 kind: KubeSchedulerCon...
scheduler-plugins构建注意事项
oneslide
04-12 1060
以下两个异常是构建kubernetes自定义调度器时，出现的异常 https://github.com/kubernetes-sigs/scheduler-plugins 报错 Go Get dial tcp: lookup goproxy.cn on 8.8.8.8:53: read udp xxx:xx->8.8.8.8:53: i/o timeout 原因 出现以上报错是因为构建容器ping不通外网，所以要让容器能够ping通外网，可以让构建容器使用宿主机网络。 解决方案 修改Ma
k8s scheduler 调度与 kubelet 启动 Pod 流程总结（四）
奔跑的蜗牛的博客
03-03 2737
本文主要总结了 k8s 中的scheduler 架构以及调度策略，以及Pod 创建流程是怎么样的，对k8s 控制平面组件 scheduler 和 kubelet 有个更加深入的认知。
K8s调度器扩展（scheduler）
xiaodonglei111的博客
11-27 899
为了熟悉 K8S调度器扩展步骤，目前只修改 筛选 插件在 Kubernetes 源代码目录下编写调度插件代码。我们将在 目录下创建一个新的插件目录。 在 目录中，创建 文件，这是插件的核心代码。插件代码 在这个插件中，我们定义了一个 函数，只有带有 标签的 Pod 才会被筛选检查，而具备 标签的节点会被认为合适。注册插件在 文件中注册插件： 3.编译调度器插件 使用这个命令 make WHAT=cmd/kube-scheduler创建一个 的配置文件 ，启用 插件：
Kubernetes Scheduler 插件项目教程
gitblog_00566的博客
08-07 705
Kubernetes Scheduler 插件项目教程 scheduler-pluginsKubernetes调度器插件项目，提供多种调度插件，以满足不同场景的需求。 - 功能：调度策略定制、调度插件扩展等。 - 特点：支持多种调度插件；易于扩展；与Kubernetes核心调度器集成。项目地址:https://gitcode.com/gh_mirrors/sc/scheduler-plu...
Kubernetes 开发【5】—— scheduling framework 构建自定义调度插件
kingu_crimson的博客
11-18 1366
对于不同插件的基本描述，摘自官方文档PreFilter这些插件用于预处理 Pod 的相关信息，或者检查集群或 Pod 必须满足的某些条件。如果 PreFilter 插件返回错误，则调度周期将终止。Filter这些插件用于过滤出不能运行该 Pod 的节点。对于每个节点， 调度器将按照其配置顺序调用这些过滤插件。如果任何过滤插件将节点标记为不可行， 则不会为该节点调用剩下的过滤插件。节点可以被同时进行评估。PostFilter这些插件在 Filter 阶段后调用，但仅在该 Pod 没有可行的节点时调用。
Quartz 源码解析(二) —— Scheduler的初始化
li-zhang-yu的博客
04-28 1760
一：初始化流程 // 创建一个ScheduleFactory SchedulerFactory sfact = new StdSchedulerFactory(); Scheduler scheduler = sfact.getScheduler(); scheduler.start(); 创建StdSchedulerFactory和StdScheduler。 SchedulerFacotory，顾名思义，就是生产Scheduler实例的工厂类。下面的代码逻辑这么多，就是为了创建一个Scheduler
Kubernetes 调度系统之 Scheduling Framework
a_small_cherry的博客
02-12 383
简介：阿里云容器服务团队结合多年Kubernetes产品与客户支持经验，对Kube-scheduler进行了大量优化和扩展，逐步使其在不同场景下依然能稳定、高效地调度各种类型的复杂工作负载。 本文帮助大家更好地了解Kubernetes调度系统的强大能力和未来发展方向。 镜像下载、域名解析、时间同步请点击阿里巴巴开源镜像站 一、前言 Kubernetes已经成为目前事实标准上的容器集群管理平台。它为容器化应用提供了自动化部署、运维、资源调度等全生命周期管理功能。经过3年多的快速发展，Ku...
笔记：kubernetes，scheduler，framework，plugins
韦远科的专栏
11-21 953
阅读kubernetes调度代码的时候，看到这个pacakge： pkg/scheduler/framework 网上相关的资料很少，废了老半天的劲儿终于找到，这里记录一下 scheduler framework https://github.com/kubernetes/enhancements/blob/master/keps/sig-scheduling/20180409-scheduli...
k8s之scheduler
weixin_34212189的博客
09-13 258
一、概述 　　调度器是kubernetes中独特而又重要的一个模块,独特是因为scheduler是唯一一个以plugin形式存在的组件，重要是因为kubernetes中最重要的基础单元pod的部署是通过scheduler完成的。　　正常情况下，scheduler为pod通过算法筛选合适的node，然后绑定pod与node关系，而相应的node上的kubelet在完成绑定之后才会启动pod，此过程...
dolphinscheduler二次开发
最新发布
05-31
### 关于DolphinScheduler的二次开发方法或教程 DolphinScheduler 是一个分布式、易扩展的工作流任务调度平台，其核心设计目标是解决数据处理流程中的复杂依赖关系。为了实现自定义功能扩展和二次开发，可以参考以下内容。 #### 1. DolphinScheduler 的架构支持二次开发 DolphinScheduler 的架构设计允许开发者通过插件化的方式进行功能扩展。例如，可以通过自定义任务类型、工作流节点逻辑以及任务执行器来满足特定需求[^1]。 #### 2. 自定义任务类型的开发 DolphinScheduler 支持用户定义新的任务类型。以下是开发自定义任务类型的步骤： - **创建任务处理器类**：继承 `org.apache.dolphinscheduler.plugin.task.api.TaskPlugin` 并实现相关接口。 - **注册任务类型**：将自定义任务类型添加到配置文件中（如 `task.properties`）。 - **部署任务插件**：将编写的任务插件打包为 JAR 文件，并放置在 DolphinScheduler 的插件目录下（通常为 `lib/plugins`）[^3]。 ```java public class CustomTaskPlugin extends TaskPlugin { @Override public void init() { // 初始化逻辑 } @Override public TaskExecutionContext execute(TaskExecutionContext context) throws TaskException { // 执行逻辑 return context; } } ``` #### 3. 工作流节点逻辑的扩展 如果需要对现有工作流节点的行为进行修改或扩展，可以通过以下方式实现： - 修改源码中对应的工作流节点逻辑。 - 或者通过监听器机制捕获节点状态变化事件，并执行自定义逻辑[^1]。 #### 4. 数据编码长度的设计原理 关于编码长度的问题，DolphinScheduler 使用的时间戳或其他标识符可能并非固定长度。这种设计的好处包括： - **可扩展性**：避免因数据增长而导致的编码冲突。 - **时间敏感性**：能够更精确地反映任务或工作流的创建时间。 - **唯一性**：即使在高并发场景下，也能保证编码的唯一性[^3]。 #### 5. 快速入门与文档参考 对于初次接触 DolphinScheduler 的开发者，建议从官方文档入手，了解基础架构和配置方法。快速入门指南提供了详细的安装和部署步骤[^2]。此外，还可以参考社区贡献的教程，例如项目管理与工作流定义相关内容[^3]。 ```bash # 安装并启动 DolphinScheduler docker run -d --name dolphinscheduler \ -p 1234:1234 \ apache/dolphinscheduler:3.2.0 ``` #### 6. 社区支持与问题解决 如果在二次开发过程中遇到问题，可以参考以下资源： - **官方文档**：https://dolphinscheduler.apache.org/zh-cn/docs/latest/ - **GitHub Issue**：https://github.com/apache/dolphinscheduler/issues - **邮件列表**：加入 DolphinScheduler 用户组以获取帮助。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值