ArgoWorkflow教程(六)---无缝实现步骤间参数传递

基于Argo全家桶构建云原生CI/CD全链路自动化实战 在云原生应用交付领域,持续集成与持续部署(CI/CD)是提升开发运维效率的核心实践。其原理在于通过自动化流水线,将代码变更快速、可靠地转化为生产环境中的运行服务,从而实现快速迭代与高质量交付。该技术的核心价值在于实现了软件交付过程的标准化、可重复与可观测,显著降低了人工操作错误与部署风险。典型的应用场景包括微服务架构下的多环境部署、复杂业务工作流编排以及渐进式发布等。本文聚焦于如何利用Argo生态中的Workflows、CD、Events和Rollouts四大组件,通过事件驱动与GitOps理念,协同构建一 阅读详情

argoworkflow-6-parameter-passing-between-steps.png

之前我们分析了,Workflow、WorkflowTemplate 、template 3 者之间如何传递参数。

本文主要分析同一个 Workflow 中的不同 step 之间实现参数传递,比如将上一个步骤的输出作为下一个步骤的结果进行使用(而非以文件方式传递)。

1. 概述

然后就是之前只分析了 Workflow、WorkflowTemplate 、template 3 者之间如何传递参数,今天继续分析一下步骤之间如何传递参数。

要实现步骤间参数传递,需要实现两个功能:

  • 1)导出结果

  • 2)导入参数

基于之前的知识,要实现这两个功能,可以想到的一种方式就是使用 artifact:

  • 导出结果:将参数写入文件,然后以 artifact 保存到 s3
  • 导入参数:下一个 step 下载 artifact 并从中获取参数。

确实可以实现功能,但是有点蹩脚,毕竟 artifact 主要是用于保存文件的。argoworkflow 中也直接提供了对应的 feature 来供大家使用。

2. 步骤间参数传递

  • 将结果导出为 Output Parameter
  • 将上一步的 Output Parameter 导入为当前步骤的 Input Parameter

完整 Demo 如下:

apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:
  generateName: output-parameter-
spec:
  entrypoint: output-parameter
  templates:
  - name: output-parameter
    steps:
    - - name: generate-parameter
        template: whalesay
    - - name: consume-parameter
        template: print-message
        arguments:
          parameters:
          # Pass the hello-param output from the generate-parameter step as the message input to print-message
          - name: message
            value: "{{steps.generate-parameter.outputs.parameters.hello-param}}"

  - name: whalesay
    container:
      image: docker/whalesay:latest
      command: [sh, -c]
      args: ["echo -n hello world > /tmp/hello_world.txt"]  # generate the content of hello_world.txt
    outputs:
      parameters:
      - name: hello-param  # name of output parameter
        valueFrom:
          path: /tmp/hello_world.txt # set the value of hello-param to the contents of this hello-world.txt

  - name: print-message
    inputs:
      parameters:
      - name: message
    container:
      image: docker/whalesay:latest
      command: [cowsay]
      args: ["{{inputs.parameters.message}}"]

导出结果

- name: whalesay
    container:
      image: docker/whalesay:latest
      command: [sh, -c]
      args: ["echo -n hello world > /tmp/hello_world.txt"]  # generate the content of hello_world.txt
    outputs:
      parameters:
      - name: hello-param  # name of output parameter
        valueFrom:
          path: /tmp/hello_world.txt # set the value of hello-param to the contents of this hello-world.txt

首先是 step 的内容,这里为了简单,就只有一个 echo 命令,将结果(hello world)写入到文件

/tmp/hello_world.txt 中。

然后就是到处结果了:

    outputs:
      parameters:
      - name: hello-param  # name of output parameter
        valueFrom:
          path: /tmp/hello_world.txt # set the value of hello-param to the contents of this hello-world.txt

定义了一个 output 参数,名为 hello-param,该参数的 value 从 /tmp/hello_world.txt 文件中获取,最终得到的 value 就是之前写入的 hello world。

至此,我们就讲当前步骤的结果导出成了一个 Output Parameter,可以在后续步骤使用了。

导入参数

后续步骤,其实很简单,和普通步骤一样的,通过 Input Parameter 定义参数,然后在使用的使用通过语法{{inputs.parameters.name}} 引用即可。

  - name: print-message
    inputs:
      parameters:
      - name: message
    container:
      image: docker/whalesay:latest
      command: [cowsay]
      args: ["{{inputs.parameters.message}}"]

唯一区别在于,这个参数的来源,之前我们都是直接讲参数定义在 Workflow 中的,这里需要改成引用之前步骤导出的 Output Parameter,就像这样:

spec:
  entrypoint: output-parameter
  templates:
  - name: output-parameter
    steps:
    - - name: generate-parameter
        template: whalesay
    - - name: consume-parameter
        template: print-message
        arguments:
          parameters:
          # Pass the hello-param output from the generate-parameter step as the message input to print-message
          - name: message
            value: "{{steps.generate-parameter.outputs.parameters.hello-param}}"

在 arguments.parameters 中直接引用了之前步骤的 Output Parameter,语法为 {{steps.$stepName.outputs.parameters.$parameterName}}。

之前我们导出结果的步骤名为 generate-parameter,然后导出的参数名为 hello-param,因此这里就使用{{steps.generate-parameter.outputs.parameters.hello-param}} 来引用该参数。

内置的 result 参数

除了我们手动导出的参数之外,ArgoWorkflow 还会默认生成一个 Output Parameter,他就是 result。

和其他 Output Parameter 一样,可以通过 {{steps.$stepName.outputs.parameters.$parameterName}} 语法进行引用。

这个 result 参数会捕获最大 256KB 的标准输出作为 value,因此他可以包含以下内容:

  • 1)script 的运行结果
  • 2)容器的标准输出
  • 3)…

只要是在容器中输出到标准输出的,内容都可以被 result 捕获。


**【ArgoWorkflow 系列】**持续更新中,搜索公众号【探索云原生】订阅,阅读更多文章。


3. 小结

本文主要分析了 Argo 中的 Workflow 中怎么传递参数还是比较简单的:

  • 1)通过 Output Parameter 导出参数
  • 2)在 arguments.parameters 中引用上一步导出的参数

最后介绍了一下内置的 result Output Parameter ,可以用于获取容器中的标准输出。

WPF实战案例 | C# WPF实现大学选课系统 WPF实战案例_C# WPF实现大学选课系统, C# WPF实现大学选课系统,大作业,毕业设计,该系统实现多身份登录、修改密码、课程的管理,个人信息的管理等功能。这个源码让你快速搭建自己的应用程序,注释完整,代码规范,各种风格都有,代码上手简单,代码独立,可以直接用程序打开,运行使用。也可直接点击EXE运行程序。 阅读详情

相关推荐

恶意流量检测数据集

对当前公开的恶意流量相关数据集进行归类总结,持续更新相关论文

tyutwuxuan的博客 1945

ArgoWorkflow教程(一)---DevOps 另一选择?云原生 CICD: ArgoWorkflow 初体验

DevOps 另一选择?云原生 CICD: ArgoWorkflow 初体验。

探索云原生 3477

AVL-Excite新手必看:5步搞定发动机阀系系统建模(附B站视频教程)

本文为AVL-Excite新手提供发动机阀系系统建模的5步详细指南,涵盖软件环境搭建、基本结构建立、关键参数设置、仿真分析及常见问题排查。通过清晰的步骤说明和实用技巧,帮助工程师快速掌握建模方法,并附有精选B站视频教程链接,便于实践学习。

weixin_29305313的博客 512

云原生工作流引擎 Argo Workflows 概述

Argo Workflows(以下简称 Argo) 是一款开源的云原生工作流引擎,专为实现 Kubernetes(以下简称 K8s) 环境下的并行作业编排与管理而设计。它允许用户通过声明式的方式来定义工作流程,这些流程不仅包括简单的顺序执行任务(步骤工作流),还能支持复杂的并行处理和条件分支逻辑(DAG 工作流)。

春天熊的技术博客 5387

用Matlab机器人工具箱搞定六轴机械臂建模:从DH参数到3D可视化(附完整代码)

本文详细介绍了如何使用Matlab机器人工具箱进行六轴机械臂建模,从DH参数输入到3D可视化全流程解析。通过正运动学验证、逆运动学求解和交互控制等实战技巧,帮助工程师快速掌握机械臂建模核心方法,并提供完整代码示例解决常见问题。

weixin_27372101的博客 396

高效IT运维报告编写指南:实战经验与模板分享

本文提供了一份全面的IT运维报告编写指南,涵盖实战经验与实用模板分享。文章详细解析了高效运维报告的核心要素,包括结构设计、数据收集自动化和可视化技巧,并提供了月度报告和故障分析报告模板。通过自动化工具和写作技巧,帮助团队提升报告质量,支持决策和问题追踪。

u5v6w7的博客 930

ArgoWorkflow教程(五)---Workflow 的多种触发模式:手动、定时任务与事件触发

手动触发:手动提交一个 Workflow,就会触发一次构建,那么我们创建的流水线,理论上是 WorkflowTemplate 对象。,类似于 k8s 中的 job 和 cronjob,CronWorkflow 会定时创建 Workflow 来实现定时触发。Event 事件触发:比如通过git commit 触发,借助可以实现此功能。

探索云原生 2036

量化投资从0开始系列 ---- 15. 郑商所日统计数据

前面已经提取了其它期货交易所的数据,最后还剩下郑商所。相比而言,郑商所的数据获取比其它几个交易所更麻烦一点。因为郑商所的系统接口有两个,在2015年11月11日前后发生了切换,这个日期之前是老系统的api接口,这个日期之后是一个新的api接口。 具体的地址在哪里,还是依靠在浏览器中按F12来确定,最后发现的地址是: if trade_date > '20151111': czce_url = f'http://www.czce.com.cn/cn/DFSS

kengxie的博客 2116

argo-workflow学习个人总结

文章目录前言一、Argo workflow what?一、Argo workflow Why?二、Argo workflow How?1.安装2.argo-wrokflow整体架构1.argo artifacts 传递总结 前言 本文记录argo-workflow学习过程,具体操作练习请参照官网 argo官网 主要初略研究argo-workflow各组件之间的作用和关系 由于刚接触K8S 更多深入问题后续补充 一、Argo workflow what? Argo workflow专门设计解决.

weixin_43953343的博客 8461

自然语言处理:长文本场景下的关键词抽取实践

自然语言处理:长文本场景下的关键词抽取实践

丨汀、的博客 2078

OSPF的7种状态,DR与BDR的基本概念,1、2、3、4、5、7类LSA解析,Stub、NSSA、Totally Stub、Totally NSSA的基本概念与配置

OSPF的7种状态,DR与BDR的基本概念,1、2、3、4、5、7类LSA解析,Stub、NSSA、Totally Stub、Totally NSSA的基本概念与配置

weixin_72194028的博客 3010

云原生工作流引擎 - argo-workflow

argo argo工作流是什么 Argo Workflows是一个开源的容器本机工作流引擎,用于在Kubernetes上协调并行作业。 Argo Workflows通过Kubernetes CRD(自定义资源定义)实现。 定义工作流,其中工作流中的每个步骤都是一个容器。 将多步骤工作流建模为一系列任务,或者使用图形(DAG)捕获任务之间的依赖关系。 使用Kubernetes上的Argo Workflow,可以在短时间内轻松运行用于计算机学习或数据处理的计算密集型作业。 在Kubernetes上本地运行CI

yevvzi的博客 5558

ComfyUI 提示Allocation on device 显存占满的解决方法及秋叶整合包的优化方法

最近在玩ComfyUI的时候,发现一个让人崩溃的问题——VRAM一直占满,最终报错: 简单来说,就是显卡显存溢出了,导致程序无法继续运行。尤其是一些大模型或者复杂工作流,很容易让显存飙升到极限。那怎么办?直接在启动命令后加上 ,例如: 这个参数的作用是啥? 默认情况下,ComfyUI会尽量让模型一直留在显存里,即使有些部分暂时用不到,导致显存迟早被填满。而 可以强制让ComfyUI把数据卸载到常规内存,减少显存占用。如果你的显存真的不够用,还可以再加 参数: 这个参数的意思就是开启低显存模式,进一步优化

代码简单说 Vue、JAVA、PHP、Node.js 熟练运用,接口、架构、性能全搞定。 1万+

ArgoWorkflow教程(七)---高效的步骤间文件共享策略

合集 - ArgoWorkflow(7)1.ArgoWorkflow教程(二)---快速构建流水线:Workflow & Template 概念08-202.ArgoWorkflow 教程(一)--DevOps 另一选择?云原生 CICD 初体验08-063.ArgoWorkflow教程(三)---使用 Artifacts 实现步骤间文件共享08-294.ArgoWorkflow教程(四)...

weixin_31463457的博客 203

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

ArgoWorkflow教程(八)---基于 LifecycleHook 实现流水线通知提醒

合集 - ArgoWorkflow(8)1.ArgoWorkflow教程(二)---快速构建流水线:Workflow & Template 概念08-202.ArgoWorkflow 教程(一)--DevOps 另一选择?云原生 CICD 初体验08-063.ArgoWorkflow教程(三)---使用 Artifacts 实现步骤间文件共享08-294.ArgoWorkflow教程(四)...

weixin_41083520的博客 171

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

如何在 Kubernetes 上设置 Argo 工作流程?

随着容器化技术的流行,Kubernetes成为了容器编排和管理的事实标准。而在Kubernetes上运行工作流程是一项关键的任务,Argo工作流程(Argo Workflows)为此提供了强大的解决方案。

网络技术联盟站 2328

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

Argo Workflows 体验

文章目录1. Argo Workflows 简单介绍2. Argo Workflows 安装3. 官方示例体验3.1 CLI 安装3.2 示例体验并简单总结3.2.1 hello world3.2.2 Parameters3.2.3 Steps3.2.4 DAG(directed-acyclic graph)3.2.5 Artifacts3.2.6 The Structure of Workflow Specs3.2.7 Scripts & Results3.2.8 Output Parameter

ygqygq2的IT博客 1351

Argo Workflows:Kubernetes上的强大工作流引擎

综上所述,Argo Workflows作为Kubernetes上的强大工作流引擎,以其出色的功能和灵活性为容器化工作流管理带来了革命性的变革。这时,Argo Workflows以其出色的功能进入了我们的视野,成为了Kubernetes上工作流程管理的得力助手。同时,从工作流程中提取输出也变得轻而易举,为后续的数据处理和分析提供了极大的便利。Argo Workflows提供了Prometheus指标和日志输出,方便用户将其集成到现有的监控系统中,从而更好地了解工作流的运行状况。

huduokyou的博客 1203

使用argo构建云原生workflow

argo argo工作流是什么 Argo Workflows是一个开源的容器本机工作流引擎,用于在Kubernetes上协调并行作业。 Argo Workflows通过Kubernetes CRD(自定义资源定义)实现。 定义工作流,其中工作流中的每个步骤都是一个容器。 将多步骤工作流建模为一系列任务,或者使用图形(DAG)捕获任务之间的依赖关系。 使用Kubernetes上的Argo Workflow,可以在短时间内轻松运行用于计算机学习或数据处理的计算密集型作业。 在Kubernetes上本地运行CI

yevvzi的博客 2402

自动化工作流管理:通过 Argo Workflows 简化 Kubernetes 工作流执行

Argo Workflows 是 Kubernetes 上的工作流编排工具,帮助用户自动化任务流的创建、调度与管理,支持参数化、并行执行和监控,广泛应用于 CI/CD、数据处理等场景。

专注分享编程开发与技术进阶干货! 2713

默认参数

默认参数:给参数赋上默认值,即即使不传参也不会报错,因为给参数传入的有默认值 默认参数要从右开始传(不能从左开始没传完,也不能只传中间,可以只传右边,也可以传完) 要是有声明,默认参数要写在声明里 默认参数的值可以是常量,全局变量 何时用到默认参数:当多次调用一个函数时,第一个参数不同,而第二个参数相同 (偶尔不同)的情况下,使用默认参数 默认参数会和函数重载相冲突 #include <iostream> using namespace std; int sum1(int a..

qq_35650513的博客 464

Argo Workflows教程[一] Yaml语法

Argo Workflow tutorials

qq_35796916的博客 626

Argo项目实战示例:Argo Workflows(when分支,循环,递归等); Argo CD; Argo Events; Argo Rollouts

有些人可能会说为什么EventBus不直接到Trigger,中间引入一个Sensor,这主要是两个原因,一是为了使事件转发和处理松耦合,二是为了实现Trigger事件的参数化,通过Sensor不仅可以实现事件的过滤,还可以实现事件的参数化,比如后面的Trigger是创建一个Kubernetes Pod,那这个Pod的metadata、env等,都可以根据事件内容进行填充。Job解决了在Kubernetes单次执行任务的问题,但不支持任务的编排,难以解决多任务之间的依赖和数据共享。...

学亮编程手记 8227

Argo Workflows概述,安装部署,服务的发布、加密方式

Argo Workflows概述,安装部署,服务的发布、加密方式一、什么是Argo Workflows?二、为什么选择Argon Workflows?三、快速开始3.1 安装Argo Workflows3.2 下载安装3.3 Argo Controller四、Argo Server4.1 Offloading Large Workflows4.2 Workflow Archive4.3 托管模式:Hosted Mode4.4 本地模式:Local Mode4.5 选项:Options身份验证模式:Auth

爱是与世界平行 5118

Argo Workflows-Kubernetes的工作流引擎

什么是Argo Workflows?Argo Workflows是一个开源项目,为Kubernetes提供container-native工作流程,其主要通过Kubernetes CRD实现的。特点如下:工作流的每一步都是一个容器将多步骤工作流建模为一系列任务,或者使用有向无环图(DAG)描述任务之间的依赖关系可以在短时间内轻松运行用于机器学习或数据处理的计算密集型作业在Kubernetes上运行CI/CD Pipeline,无需复杂的软件配置安装安装控制器端Argo Wordflows的安装非常简单,直接

wanger5354的博客 1661

ArgoWorkflow教程(二)---快速构建流水线:Workflow & Template 概念

上一篇我们部署了 ArgoWorkflow,并创建了一个简单的流水线做了个 Demo。本篇主要分析 ArgoWorkflow 中流水线相关的概念,了解概念后才能更好使用 ArgoWorkflow。

探索云原生 2396
上一篇: ArgoWorkflow教程(五)---Workflow 的多种触发模式:手动、定时任务与事件触发
下一篇: ArgoWorkflow教程(七)---高效的步骤间文件共享策略
探索云原生
博客等级 码龄9年 730粉丝 131原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值