dolphinscheduler k8s部署

DolphinScheduler | 文档中心 (apache.org)

基础环境搭建

$ tar -zxvf apache-dolphinscheduler-3.2.1-src.tar.gz
$ cd apache-dolphinscheduler-3.2.1-src/deploy/kubernetes/dolphinscheduler
$ helm repo add bitnami https://charts.bitnami.com/bitnami
$ helm dependency update .
$ kubectl create ns dolphinscheduler  # 指定namespace,方便维护
$ helm install dolphinscheduler . --set image.tag=3.2.1 -n dolphinscheduler 

几处修改

bitnami仓库

原bitnami仓库地址会有问题改成这个

repository: https://raw.gitmirror.com/bitnami/charts/archive-full-index/bitnami

 

镜像仓库地址拼接错误

有可能是我修改了bitnami的仓库地址导致此处才需要修改

由apache/dolphinscheduler 改成apache

 资源大小

我是两节点的虚拟机,环境资源如果不够在启动的时候会有很多异常,测试的时候其实只需要修改一个资源需求就行

common配置

配置了采用本地文件系统,不使用s3,hdfs

HELM安装

[root@k8s1 dolphinscheduler]# helm install dolphinscheduler . --set image.tag=3.2.0 -n dolphinscheduler    
coalesce.go:203: warning: destination for tls is a table. Ignoring non-table value false
NAME: dolphinscheduler
LAST DEPLOYED: Thu Mar  7 13:51:08 2024
NAMESPACE: dolphinscheduler
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
** Please be patient while the chart DolphinScheduler 3.1.0 is being deployed **

Access DolphinScheduler UI URL by:

  kubectl port-forward -n dolphinscheduler svc/dolphinscheduler-api 12345:12345

  DolphinScheduler UI URL: http://127.0.0.1:12345/dolphinscheduler

 暴露访问端口

按照他官网的指示 我的操作不生效,因此,手动指定scv暴露方式为 NodePort

kubectl edit svc dolphinscheduler-api -n dolphinscheduler

Dolphinscheduler1.3.6 k8s部署文档 Dolphinscheduler1.3.6 部署文档 环境 Helm 2.1.6 Kubernetes 1.12+ Dockerfile创建: #编写dockerfile,将开发所需的安装包和版本全都打入镜像中 FROM apache/dolphinscheduler:latest RUN sed -i 's# http://deb.debian.org/debian/#http://mirrors.tuna.tsinghua.edu.cn/#' /etc/apt/sources.list RUN apt 阅读详情

相关推荐

离线K8s环境部署DolphinScheduler与SeaTunnel实战

在云原生技术架构中,Kubernetes作为容器编排的事实标准,支撑着企业级应用的现代化部署。特别是在安全合规要求严格的金融、政务等行业,离线环境下的云原生应用部署成为关键技术挑战。通过容器镜像预下载、私有仓库搭建等技术手段,可以实现完全隔离网络中的自动化工作流调度与数据集成。本文以DolphinScheduler工作流引擎和SeaTunnel数据集成工具为例,详细解析在离线K8s集群中部署这两个关键组件的技术方案,涵盖基础设施规划、Helm定制化配置、高可用保障等核心环节,为需要处理异构数据源ETL流程的

weixin_26765287的博客 234

K8S应用笔记 —— 部署Dolphinscheduler及简单应用(一)

基于K8S环境部署Dolphinscheduler及简单应用

gmHappy 4万+

公司内网DolphinScheduler 与 Spark 在 Kubernetes 上的部署:一步步指南

本文详细介绍了在Kubernetes上部署Apache DolphinScheduler与Spark集群模式的完整方案。主要内容包括:1) 架构规划,将集群划分为控制区、计算区和存储区;2) 节点标签配置;3) 自定义Docker镜像构建;4) NFS共享存储设置;5) Helm部署配置;6) Spark任务参数优化。该方案实现了资源隔离、动态扩展和高性能计算,适用于ETL、机器学习等大数据处理场景,提供了生产环境部署的最佳实践指南。

数据与算法架构提升之路专栏 538

在k8s上部署dolphinscheduler

1.下载安装包,下载地址:https://dolphinscheduler.apache.org/zh-cn/download/3.1.8,通过命令wget -c https://archive.apache.org/dist/dolphinscheduler/3.1.8/apache-dolphinscheduler-3.1.8-src.tar.gz下载;以下步骤安装的是二进制版本,如果通过脚本安装,可以直接参考链接:https://helm.sh/docs/intro/install/。

小白白的博客 2924

k8s部署dolphinscheduler3.1.2 踩坑记录

k8s部署dolphinscheduler 踩坑记录3.1.2,全流程

《数据结构》知识点汇总+算法代码总结【全】

写在前面:本文写于吴签时期,在家备考时刷完数据结构王道书之后想着把书中重点梳理汇总一下。本文内容包括但不局限于王道数据结构每章的知识点及其课后习题所涵盖的知识点。本人曾在大三期间打过一些程序设计类比赛,所以本文所涉及到的代码不一定局限于王道书,但思想都一样。 期末复习和备考408均可使用第一章:绪论(不在考研大纲但很重要)第二章:线性表第三章:栈和队列第四章:串第五章:树与二叉树第六章:图第七章:查找 第一章:绪论(不在考研大纲但很重要) 数据结构三要素:逻辑结构、存储结构、数据的运算;其中逻辑结构包括线

qq_44622401的博客 17万+

Kubernetes(k8s)部署DolphinScheduler

DolphinScheduler使用Kubernetes 部署,云原生部署DolphinScheduler

Brother_ning的博客 3131

CentOS 7.9安装python3.11

CentOS 7.9安装python3.11

leafseelight的专栏 1343

使用外部mysql和zookeeper在kubernetes中部署dolphinscheduler

使用外部mysql部署在k8s中dolphinscheduler

xyw19991006的博客 1199

用STM32F103C8T6和TB6612驱动模块,从零搭建一辆能避障循迹的智能小车(附完整代码)

本文详细介绍了如何使用STM32F103C8T6和TB6612驱动模块从零搭建一辆能避障循迹的智能小车。内容涵盖硬件选型、电路设计、底层驱动配置以及智能行为算法实现,并附有完整代码示例,帮助开发者快速掌握嵌入式开发的核心技术。

weixin_42641741的博客 446

DaVinci Configurator BswM模块配置

BswM是AUTOSAR(Automotive Open System Architecture)系统架构中的模块之一,它是基础软件模块(BSW)之一。BswM全称为Basic Software Module Manager(基础软件模块管理器),它负责管理和协调其他BSW模块的行为和交互,以实现整个系统的功能。BswM可以被看作是一个状态机,通过监控系统的状态和事件触发,来控制其他BSW模块的运行状态和互相配合,以达到整个系统的预期行为。

qq_59258431的博客 3949

kubernetes部署dolphinscheduler

kubernetes部署dolphinscheduler+mysql 1. 下载所需镜像 docker pull apache/dolphinscheduler-master:3.0.0-alpha docker pull apache/dolphinscheduler-worker:3.0.0-alpha docker pull apache/dolphinscheduler-alert-server:3.0.0-alpha docker pull apache/dolphinscheduler-api:

weixin_52852276的博客 1974

IP-Guard分类管理详解

大家都知道在配置IPGUARD策略前需要做分类库进行设置和分类。 1、应用程序:可以分类,例如上班时间只能用OFFICE和WPS,记事本等办公软件,可以在分类里设置一个类 ;办公软件,在未分类里找到OFFICE,WPS等拖入心建的分类里就可以在配置策略里调用。 2、网站分类也不一样,可以按照自己方式自定义。也可以导入厂家已经收集到的网站分类。 3、邮箱分类:可以提前定义好一个或...

IP-Guard专栏 591

Kubernetes(k8s)离线部署DolphinScheduler3.2.2

本次安装环境为:3台k8s+现有的数据库+服务DolphinScheduler-3.2.0官网:https://dolphinscheduler.apache.org/zh-cn/docs/3.2.2 官网安装文档:https://dolphinscheduler.apache.org/zh-cn/docs/3.2.2/guide/installation/kubernetes下载 Helm 客户端 下载地址:https://github.com/helm/helm/releases helm常用命令举例

菜鸡的博客 2339

DeepSeek+Dify之一安装部署

DeepSeek添加知识库

yilvyangguang520的博客 1545

【深度学习新浪潮】如何上手DINO v3:Meta新一代视觉大模型实战指南

自定义数据集类(适配本地/公开数据集)# 去除batch维度# 构建数据加载器# 定义分类模型(冻结预训练层,仅训练分类头)self.classifier = nn.Linear(dino_model.config.hidden_size, num_classes) # 分类头global_feat = outputs.global_attention_pool # 取全局特征# 初始化模型# 冻结预训练层(仅训练分类头)# 定义损失函数和优化器。

专注:太空算力、AI infra、异构调度、大模型成本工程 492

DolphinScheduler on k8s 云原生部署实践

1. DolphinScheduler 的高效云原生部署模式,比原始部署模式节省了95%以上的人力资源和工作时间,提升了部署效率和成本效益。 2. 通过集成 GitOps 技术,我们提升了 DolphinScheduler 的 DevOps 管理能力,改善了软件交付效率和安全审计能力。 3. 通过集成新的云原生技术,我们为 DolphinScheduler 增加了水平扩展、健康探测和滚动部署等功能,提升了其灵活性和适应性。 4. 将 Prometheus 等可观测性技术整合到基础设施和服务网格中,显著提升了

奔跑的蜗牛的博客 2495

手把手教你学Simulink——整流器场景:基于PWM控制的单相全桥整流器设计

摘要:本文详细介绍了使用Simulink搭建基于PWM控制的单相全桥整流器的完整设计流程。主要内容包括:系统结构设计(含交流电源、全桥整流器、滤波电路等模块)、分步骤建模过程(从创建项目到添加各功能模块)、双闭环控制系统设计(电压外环和电流内环PI控制)、参数设置建议及仿真分析。通过仿真验证,该整流器可实现单位功率因数运行和稳定输出电压,并提供了数字锁相环等优化方向。文章为电力电子系统设计提供了实用的Simulink建模指导。(149字)

MHD0815的博客 325

k8s离线环境部署DolphinScheduler+SeaTunnel

本文介绍了在企业内网环境中快速搭建DolphinScheduler+SeaTunnel大数据调度系统的实践过程。重点讲解了DolphinScheduler 3.1.9稳定版本在Kubernetes集群上的部署步骤,包括通过Helm安装、处理网络问题时的镜像代理下载方案,以及如何将官方镜像替换为私有仓库镜像的详细操作。文章提供了完整的命令序列,涵盖镜像拉取、标签重命名、推送至私有仓库,以及修改Helm values.yaml配置文件等关键环节,为大数据系统建设初期的环境搭建提供了实用参考。

水中加点糖 1955

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

在 k8s 环境中使用 mysql 部署 dolphinscheduler (非 helm 的方式)

在 k8s 环境中使用 mysql 部署 dolphinscheduler (非 helm 的方式)

以梦为马|越骑越傻 2971

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

Apache DolphinScheduler 在 Kubernetes 上的部署与配置指南

Apache DolphinScheduler 在 Kubernetes 上的部署与配置指南 【免费下载链接】dolphinscheduler Dolphinscheduler是一个分布式调度系统,主要用于任务调度和流程编排。它的特点是易用性高、可扩展性强、性能稳定等。适用于任务调度和流程自动化场景。 ...

gitblog_00764的博客 449

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

终极指南:如何在Kubernetes中快速部署Apache DolphinScheduler

Apache DolphinScheduler是一款现代数据编排平台,通过低代码方式实现高性能工作流的敏捷创建。本文将详细介绍如何在Kubernetes环境中部署DolphinScheduler,帮助新手用户快速上手这个强大的分布式工作流调度系统。 ## 📋 准备工作:环境与工具要求 在开始部署前,请确保你的环境满足以下条件: - Kubernetes集群(1.18+版本) - Helm 3

gitblog_01192的博客 922

Apache DolphinScheduler Kubernetes StatefulSet部署完整指南

Apache DolphinScheduler作为现代化的数据编排平台,通过Kubernetes StatefulSet部署方案为数据工作流管理提供了高度可靠和可扩展的集群环境。本文将详细介绍如何利用StatefulSet在Kubernetes上部署DolphinScheduler的核心组件,包括Master和Worker节点。 ## 🚀 StatefulSet部署架构解析 DolphinS

gitblog_00327的博客 531

K8s集群实战:手把手教你部署DolphinScheduler 3.2.2

本文详细记录了在Kubernetes集群中部署Apache DolphinScheduler 3.2.2的全流程,涵盖从环境准备到功能验证的核心步骤。针对国内网络环境特点,重点解决了镜像拉取难题:通过替换阿里云私有镜像仓库,优化了Helm Chart的依赖源地址,并自定义了my-values.yaml配置文件,覆盖PostgreSQL、ZooKeeper、MinIO等组件的镜像地址及资源限制。部署过程中,通过helm dependency update确保依赖完整性,结合helm template预检查资源

ζั͡山 ั͡有扶苏 ั͡✾的博客 3120

下周二见!奇虎360数据专家亲授:DolphinScheduler on K8s 生产级部署避坑指南!

8 月 Apache DolphinScheduler 线上 Meetup 特别邀请到上海奇虎科技有限公司的数据专家王远朋,现场拆解他在一线生产环境中完成 DolphinScheduler on K8s 部署改造的全过程,带来从踩坑到调优的硬核实战经验,助你一次把“云原生调度自由”收入囊中。

Apache DolphinScheduler开源社区 371
上一篇: 访问https网站,edge浏览器,thisisunsafe不生效
下一篇: k8s运维命令小工具
JNWsong
博客等级 码龄9年 287粉丝 204原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值