GitOps:一款基于Kubernetes的高速CI/CD框架

从CI/CD到软件交付工程化:基于Awesome-Harness-Engineering的实践指南 持续集成与持续交付(CI/CD)是现代软件开发的基石,它通过自动化构建、测试和部署流程,将代码变更快速、可靠地转化为线上服务。其核心原理在于建立一套标准化的流水线,集成代码质量检查、安全扫描和自动化测试,从而提升软件交付的效率与稳定性。在云原生和微服务架构成为主流的今天,软件交付已从简单的自动化脚本演进为复杂的工程系统,涉及多云环境管理、渐进式发布策略和全链路可观测性。这催生了“软件交付工程化”的需求,旨在通过工程方法系统性地解决交付过程中的复杂性、安全性和一致性问题。以Harness平台为代表的现代交付工 阅读详情

【编者的话】Alexis是Weaveworks的联合创始人兼CEO,同时也出任CNCF与TOC主席兼Code峰会的联合创始人、RabbitMQ的共同创始人,并曾担任2010年被VMware收购的Rabbit公司的首席执行官。在这篇文章中他详细介绍了GitOps——一款基于Kubernests的高速CI/CD框架。

“把世界设想成一套代码库,而非Kubernetes环境。”——Kelsey Hightower

这篇文章主要面向希望使用Kubernetes和Docker进行高速持续交付的用户而言。 当我们提到“高速”时,我们的意思是每个产品团队可以安全地每天多次交付更新 ——包括即时部署,实时观察结果,并通过反馈进行推进或者回滚。其目标,是让产品团队尽可能快地通过持续实验来改善客户体验。

如果您还不熟悉GitOps,这是一套可以对现代应用程序进行敏捷化软件生命周期管理的框架。 感兴趣的朋友可以通过阅读我们的系列博文了解更多,今天让我们从《Gitops——Pull Request的操作》开始。

用户案例:高速CI/CD改变游戏规则

一个团队如何从每周一次手动部署提升到每天超过三十次的无需额外工作的部署?

Qordoba是一支来自旧金山的团队,他们利用机器学习技术为各大国际品牌交付经过优化的本地服务。 他们的一个团队正在使用基于Kubernetes的微服务作为Qordoba后端的一部分。 通过采用我们推荐的GitOps实践与工具,他们从根本上提高了自身塑造用户体验的能力:

  1. 修复生产环境软件错误所需的预计时间:使用Weave Cloud后,所需时间缩短60%
  2. 响应客户请求的预计时间:使用Weave Cloud后,时间缩短约43%
  3. 正常运行时间从99%提升到100%(到目前为止……)


Qordoba从每周部署1或2次提升到了每天部署超过30次。更重要的是,每一项部署实质上都是“零成本”的。 这意味着:其需要的时间很短,不致中途中断并导致团队无法将系统恢复至良好状态,且所有变更皆可实现回滚。 零成本部署解放了开发团队,让他们专注于用户体验和业务逻辑——即真正能够创造价值的工作,并按照自己适应的速度进行迭代,且无需担心失败成本。

了解更多:GitOps介绍资料

我在KubeCon 2017上和Google的项目经理William Denniss共同演示了这个用例。

一些背景:Weaveworks已经在AWS上拥有长达两年的生产环境的Kubernetes云服务运行周期。最近我们总结了一些最佳实践,我们称之为“GitOps”。 GitOps基于经过验证的DevOps技术——大体类似于CI/CD和声明式基础设施即代码——而构建,为Kubernetes应用程序提供了一套联合的、可自动生成的生命周期框架。 我们在KubeCon上和Google Cloud Platform一起推出了“免费”的GitOps功能。

如果您有兴趣了解我们是如何做到这一点的,例如创建一条高速CI/CD流水线,那么我建议您查看这个演示文稿(视频和幻灯片)。

Screen_Shot_2018-01-17_at_09.39_.03_.png


KubeCon是一项社区活动,所以在本演讲中,William和我谈论了解决方案的模式、Kubernetes部署运维工程师的技术角色以及其它与之配合的开源项目。

即时Kubernetes CI/CD与Weave Cloud

如果你喜欢这个演示文稿以及GitOps的创意,那么你可能会打算新手上手一试。 最便捷的方式当然是通过由Google上提供的Weave Cloud设置。

这些会让你获得:

  1. 一条可以在几分钟内搭建的Kubernetes流水线
  2. 一键部署的应用(当然,如果有必要仍然需要手动分段)
  3. 全面的可观察性、仪表板与警报


Weave Cloud可以轻松将您的Git存储库接入至任何CI。 其为CI/CD建立一套Kubernetes集群,以便您可以从之前提到的Qordoba持续与高速交付中受益。 在Google云上,您的GKE群集可以轻松连接到Google的容器构建器和存储库。 但我们希望再次强调:Weave Cloud可以与任何集群、任何网络、任何CI以及任何Git库协同工作——我们不会强迫你选择自己不喜欢的道路。

有鉴于此,您可以通过Git PR、CLI或GUI对应用程序进行更新和回滚。 最后,我们提供集成化“全栈式”监控和管理,以完成运整个操作循环。 Weave提供的集成方案意味着开发人员可以观察部署情况,从而衡量并应对各类变化及其产生的影响。 下图所示为一套示例UI。


weave_deploy.png

 

开源GitOps

我们的云服务为利用Kubernetes实现GitOps提供了一种方便且令人满意的方式。 但是如果你是一位希望建立并了解自己开源流水线的开发者呢? 请阅读下面的内容来了解可供选择的一些GitOps方法。

方法1——使用Weave Flux部署Operator

我们建议您使用Operator模式来监听和编排部署到您Kubernetes集群中的服务。William Denniss在我们KubeCon演示(视频、幻灯片)资料的第15-21页中描述了这种方法。使用Operator,代理可以代表集群来监听与自定义资源变更相关的事件,并通过一致性方式加以应用。换句话说,Operator负责执行Git和集群之间的协调工作。

Operator是由Weave Flux这个开源项目实现的。这个项目的诞生,源自我们为了简化Weave Cloud将微服务部署到Kubernetes而作出的大量痛苦尝试。请参阅这篇博客文章《GitOps管道》,文中阐述了编排部署相较于通过CI+脚本(“CI操作”)手工编写代码的种种优势。

Flux被应用于我们的Weave Cloud服务。我们建议你在云端加以尝试或自行探索设置方法。我们同样欢迎外部的开源代码贡献者和对Flux感兴趣的公司参与项目当中。多种CI和部署工具都能够通过部署Operator受益——请与我们联系。

方法2——GitOps,Kelsey方法的实现基础

Kelsey Hightower有一个非常好的习惯,即提供简单但始终以开发人员为关注重点的精彩演示。他在KubeCon的主题演讲自然也不例外(视频)。

Kelsey的演讲主要探讨如何使用Github和Google Cloud进行持续交付,而其出发点为“kubectl就是新的SSH……如果您正在使用kubectl从笔记本电脑部署软件到生产环境,那么您已经错失了几项重要步骤……”。接下来他提供了一个demo,展示了如何通过CI与分段实现从Git到生产环境的直观仪表板实现步骤。这些步骤简洁直观且干货满满,我建议观看他演讲的视频。

Kelsey的分析建立在两个前提上:

  1. Kubernetes的部署未能完全解决问题。他说:“有多少人拥有端到端的连续交付流水线?”一旦决定使用kubernetes,这将成为一个可望而不可及的目标……并导致你投入大量时间。”
  2. 开发人员希望通过Git来驱动变更,并观察结果。他说:“在理想情况下,如果我变更了代码,肯定希望单纯通过一条URL来告诉我它在哪里运行......如果你能给我度量指标,告诉我它运行得如何,那肯定更好。最好的结果是,你能够给予可见性,用户就不会再怀疑像kubectl这样的工具是否真像你宣传的那么好——因为现在他们已经能够实际观察到集群中发生了什么。”


这与我们在GitOps上希望达到的目标大致相同。其中的关键在于,将Git视为您技术堆栈中所有状态的理想来源——包括集群、配置,应用程序和工具——并配合使用声明式基础设施即代码。请阅读我们的第一篇博客文章《Pull Request的操作》了解更多详情。

选择你的GitOps探索之旅

在这篇文章中,我们提供了三种尝试高速CI/CD的方法。

  1. 一项开箱即用的服务,使用Weave Cloud提供的从Git到GKE集群的默认CI/CD流水线,包括监控、可观察性、审计和功能,且支持弹性伸缩。这项服务也适用于其他Kubernetes供应方案及您自己的CI。
  2. 引入Weave Flux,我们在第1条中也需要使用到这款独立且开源的部署执行程序。其能够运行您所使用的任何Kubernetes集群。
  3. Kelsey演示了如何设置自己的简单GitHub-to-Google流水线。


这三种方法在实际效果上完全一致。下面我们来具体作出比较。

Weave Cloud服务最易于上手,因为它为您设置了GitOps流水线,并且包含对GitOps可观察性的大量支持,这本身就是一个重要的问题。借用Kelsey的原话——我们希望“让人们看到……实现目标的最好办法就是为人们提供一套仪表板,借此展示实际发生的状况”。

Weave Flux开源Operator只聚焦于CI/CD中的“CD”部分。通过使用Flux,用户将可以对发布工作流程进行大规模重复与管理——且实现难度要比使用“kubectl”或将脚本捆绑到CI工具上容易得多。 Flux是一种协调与通知代理,能够“与本地Kubernetes交互”,以便对任何Kubernetes对象进行集群变更,包括实现对同步代码、配置文件、容器、标签等的更改。您还可以获得诸如“回滚”,“自动”,“手动”部署等策略(还有更多,例如蓝/绿和金丝雀部署等)。

Kelsey的方法当然也可以进一步分解成更小的部分。他提供了从Git到CI到GKE的集成示例,但并没有提到像Flux Operator这样的程序化代理。将Kelsey的方法与Flux结合起来显然是种合乎逻辑的作法。事实上,我们的KubeCon演示文稿在第21页就展示了这种集成方法:


gitops_cd_pipeline.png


还要注意的是,Kelsey建议在他的演示中使用一套精心设计的仪表板——Grafana。 我们对此深表赞同,并在我们的云服务中也提供这样的工具——同时还集成有Slack。

隐私问题如何解决?

这是迄今为止关于GitOps最常问到的问题。

好消息是,我们在Bitnami的朋友创建了一个专门用于GitOps工作流程的Sealed Secrets开源项目。 Sealed Secrets是一款定制化Kubernetes资源定义控制器,它甚至允许您在Git中存储敏感信息(即secrets)——这在以前是完全无法想象的。 另请参阅《构建Serverless应用程序流水线》,由同样参加了KubeCon大会、来自Bitnami公司的Sebastien Goasguen提供。

另外,您可以将Weave Cloud的部署功能与Sealed Secrets结合使用,从而创建一套连续的部署流水线——其中所有操作皆基于Git实现,且您应用程序的全部所需状态都会在Git仓库中声明,包括您的隐私。

Helm效果如何?

Helm charts是一种将复杂Kubernetes应用程序打包并进行原子部署的好方法。 要了解更多关于Helm的信息,我推荐Vic Iglesias带来的这段很酷的KubeCon谈话。

我们正在努力将Helm charts作为GitOps工作流程中的首要对象。这是一个非常令人兴奋的想法:它结合了Helm的好处,即“chart”封装与模板;外加GitOps本身的好处,其中包括:各版本部署历史记录,用于帮助重新创建集群; 实现集群状态更新自动化以反映charts及其自定义更新;以及通过集群状态更新自动化以反映容器镜像的开启等等:)

我该如何参与?

如果您对以上议题抱有兴趣,请联系我们——您将迎接多种多样的贡献方式。 其它工作方向包括蓝/绿与金丝雀等高级部署测试策略。 Istio等工具可用于在运行时内控制路由配置,例如更新流量的权重百分比。 GitOps是如何做到这一点的? 传统的基础设施即代码将部署组件视为不可变元素,但金丝雀部署却强调可变配置。 同样的道理,我们希望未来能够出现更多工具包,从而为Kubernetes提供更为丰富的插件选项——例如Istio、OpenFaaS和Kubeflow。 我们该如何让这些GitOps理念真正转化为现实?

在Monkigras与我们见面

如果您2月1日和2日身在伦敦,请到Monkigras与我们见面。 这是一场关注技术、工艺与啤酒的年度最佳会议——而且最重要的是与会人群。 这次的主题是“连续的艺术”,也就是构建永恒。 今年的演讲阵容非常棒,您在这里能够见到许多值得结交的新朋友。 在这里,您将遇见来自Pivotal、CNCF、Aqua、Weaveworks、Honeycomb、Docker和Sysdig社区的技术精英——当然,这还只是与会者翘楚中的一小部分。

monkigras7.png


今年我们会免费提供咖啡,并期待着与您会面。最重要的是,我们需要您的帮助——即共同探索快速交付软件的最佳途径。

我们与Monkigras合作,为您提供20%的独家票价折扣。 数量有限,先到先得! 使用优惠码“weaveworks”,即可在他们的eventbrite注册页面上获得20%的折扣。

Triton模型服务化实战:从Notebook到高可用生产部署 模型服务化是将训练好的机器学习模型转化为稳定、可扩展、可观测的在线API的关键过程。其核心原理在于弥合数据科学研发范式与工程化生产环境之间的鸿沟,解决资源隔离、并发处理、动态批处理、健康探活等系统性问题。技术价值体现在提升推理吞吐、降低端到端延迟、保障SLA可用性,并支撑AB测试、灰度发布等运维能力。典型应用场景包括电商实时推荐、金融风控决策、智能客服语义理解等对低延迟和高可靠要求严苛的业务系统。本文聚焦基于NVIDIA Triton Inference Server的模型容器化、ONNX标准化、Kuber 阅读详情

相关推荐

基于k3s的轻量级Kubernetes家庭集群搭建与GitOps实战

任何集群上线前都必须进行安全加固。k3s虽自带防护,但仍需人工干预。metadata:spec:strategy:支持平滑升级和一键回滚:k3s不仅仅是一个“轻量版K8s”,它代表了一种新的运维范式:极简、安全、可移植、易于自动化。无论是树莓派上的边缘AI推理,还是旧笔记本承载的个人博客,亦或是x86服务器搭建的家庭媒体中心,k3s都能提供一致的管理体验。更重要的是,它降低了云原生技术的门槛,让更多人能够亲手触摸到现代基础设施的魅力。而这,正是开源精神的最佳体现。🌟。

weixin_42591413的博客 887

专注开发者体验 | GitOps 实现 Kubernetes 持续部署

大量的企业已经将 Kubernetes 用于其生产环境,但面对他们正在运行的多套不同阶段的 Kubernetes 集群,仍然困惑于在保证业务团队敏捷性的同时,如何实现持续部署、高安全性、权限分离以及可审计。我们认为 GitOps 是目前比较理想的一种方法来实现基于 Kubernetes 集群的持续部署,且同时满足安全性、权限分离等企业级需求。在这篇文章中,我们将分享 GitOps 的核心思想和工作...

亚马逊云科技专栏 339

商城系统全链路压测实战指南

全链路压测是模拟真实用户行为和生产环境流量,验证整个系统在高压下的稳定性和性能表现的关键手段。

monk all the way 1231

Kubernetes 概念详解

包含一个或多个紧密协作的容器。

zhangyongze_z的博客 1万+

低功耗和UPF介绍

参考[UPF]低功耗(Low Power Design)and UPF介紹

青春易逝,愿不负昭华,期待梦与远方 1万+

FPGA实战:基于Basys3的多功能数字钟设计与实现

本文详细介绍了基于Basys3开发板的多功能数字钟设计与实现过程,涵盖FPGA开发、SystemVerilog编程及7段数码管驱动等关键技术。通过模块化设计实现时钟分频、时间计数、按键处理等功能,并提供了优化显示驱动和调试技巧,帮助开发者快速掌握数字电路设计核心概念。

weixin_29186249的博客 659

什么是Kubernetes

K8s-Kubernetes 1.什么是Kubernetes ​ Kubernetes是Google公司在2014年6月开源的一个容器集群管理系统,使用Go语言开发,也叫K8S。Kubernetes的目标是让部署容器化的应用简单并且高效,Kubernetes提供了应用部署,规划,更新,维护的一种机制。**Kubernetes一个核心的特点就是能够自主的管理容器来保证云平台中的容器按照用户的期望状态运行着(**比如用户想让apache一直运行,用户不需要关心怎么去做,Kubernetes会自动

jiohfgj的博客 1万+

科研级YOLOv8 Neck革新:HS-FPN模块赋能,让特征融合更高效且参数量直降100W的实战指南

在文件夹下新建HS_FPN.py,将上述和HS_FPN类的代码写入其中。这一步是为了让YOLOv8的代码架构能识别我们的自定义Neck模块。

FJN110的博客 153

Kubernetes初识

一、Kubernates是什么? (一)读音 了解一个新事物,最先学会都是怎么读,不然以后会一直读错下去,到时候说出去可能就会被人嘲笑。 Kubernates,读音是[kubə’netis],翻译成中文就是“库伯奈踢死”。当然了,也可以直接读它的简称:k8s。为什么把Kubernates读作k8s,因为Kubernates中间有8个字母,所以简称为k8s。 (二)历史 认识任何东西最靠谱的都是去官网看具体的介绍,Kubernates官网地址:https://kubernetes.io/。有兴趣的小伙伴可以自

xiaoye的博客 1万+

RK3588 hdmirx 调试(含v4l2工具,edid编辑)

RK3588 Buildroot系统中调试HDMI-RX的过程,包括抓图、修改EDID数据、编辑EDID等操作。首先,通过logcat和寄存器信息查询HDMI-RX的状态,使用v4l2-ctl工具进行测试和修改EDID。

501846585_QQAndroid_java 2687

【vsomeip3 教程】SOME/IP中间件去抖策略全解析

本文探讨了在SOME/IP中间件中实现Debounce(去抖动)机制的必要性和实现原理。文章首先分析了中间件层进行Debounce的四大动机:多订阅者共享收益、语义显式化、协议噪声屏蔽和入口处背压控制。接着详细阐述了Debounce的底层原理,包括变化检测机制(ignore和mask的应用)、时间门控策略(interval的两种时间基准)以及超时补发机制,并通过表格清晰展示了不同参数组合的效果和适用场景。最后,文章提出了工程落地的具体方法,包括策略选型、ignore/mask的设计方法论以及分层验证调试的实

探索C++编程的奥秘,分享深入的技术见解和实践,旨在激发读者创造力与解决问题的思维。 232

kubernetes详细介绍

k8s详细介绍

u010230019的博客 9648

工业视觉实战:用摄像头+AI高精度测量钢板尺寸(附深度分析)

摘要: 钢铁制造业正加速采用基于摄像头与深度学习的视觉测量技术,以取代传统人工测量,实现钢板长、宽、高(厚)的非接触、高精度在线检测。核心方案包括单目视觉(低成本但受限于变形)、双目/多目立体视觉(可精确测量变形钢板)及3D激光扫描(微米级精度)。系统精度受硬件(相机分辨率、镜头)、算法(亚像素技术)及环境稳定性共同影响,综合精度可达±0.1mm。实战中需重点解决热膨胀(需红外测温实时补偿)和钢板变形(必须采用三维方案)两大挑战,并通过工程化设计(散热、防振)确保系统可靠运行。该技术需融合光学、机械与算法,

数字人生 392

返利APP CI/CD DevOps实践:Jenkins Pipeline + Kubernetes GitOps的持续交付与灰度发布

为了构建高可用、自动化的交付体系,省赚客APP研发团队全面重构了DevOps流水线,采用“Jenkins Pipeline负责构建与测试 + ArgoCD实现Kubernetes GitOps + Istio控制灰度流量”的组合拳,实现了从代码提交到生产环境灰度上线的全链路自动化闭环。为了降低发布风险,我们引入Istio服务网格实现精细化的流量控制。此Pipeline不仅完成了构建任务,更关键的是它通过修改Git仓库中的Manifest文件,将“部署”动作转化为“代码变更”,完美契合GitOps理念。

技术研究中心 595

【网络与爬虫 53】Scrapy-Prometheus实战指南:打造企业级爬虫监控体系的终极解决方案

本文深入探讨Scrapy-Prometheus集成技术,通过费曼学习法从监控痛点出发,详细讲解如何在Scrapy爬虫中集成Prometheus指标收集系统。涵盖从基础配置到企业级监控体系的完整实战指南,帮助开发者构建可观测性强、可维护性高的分布式爬虫监控平台,实现爬虫性能的精准监控和智能告警。

熵数实验室 1587

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Devtron 开源项目完全解读:Kubernetes Dashboard 与一体化 DevOps 平台的安装部署指南

本文以 Devtron 开源仓库的官方 README 为主线,系统讲解 Devtron 的两大产品形态——面向多集群运维的 **Kubernetes Dashboard** 与面向端到端软件交付的 **Devtron Platform**,并给出从前置条件、Helm 安装、访问凭据到模块开关配置的完整实操路径。读完本文,你将掌握 Devtron 的安装命令与配置参数含义、Dashboard 的访问

gitblog_00754的博客 1069

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

Jenkins X:基于Kubernetes的CI/CD平台

背景 Jenkins自动化服务器一直都是DevOps工具链的重要组成部分,并且已发展成为开源持续集成和持续部署(CI&CD)软件的领导者。据不完全统计,截至2019年6月,已有将近26万的Jenkins服务器以及超过2900万的Jenkins任务在全世界范围内运行着,而其持续保持的高增长速度更是令人感到无比惊艳。然而,Jenkins在取得巨大成功的背后,也逐渐暴露出一些痛点: Jenkins服务器的单点故障问题,特别是任何宕机维护操作都可能导致git webhook事件的丢失; Jenkins服务

学亮编程手记 1352

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

【Harness:落地实战】23、从CI/CD到AI原生底座:Harness平台全景深度解析——现代软件交付的最终答案?

文章摘要: 随着AI编码工具大幅提升代码生成速度,传统CI/CD交付管道成为瓶颈,导致"AI速度悖论"——代码堆积却难以上线。Harness平台作为第三代AI原生软件交付解决方案应运而生,其定位不仅是CI/CD工具,更是覆盖软件全生命周期的智能交付平台。与Jenkins、GitLab CI等工具相比,Harness采用模块化架构,深度集成AI能力,提供从代码构建到部署验证的自动化管理,显著降低维护成本。该平台支持多云环境统一治理,内置RBAC、审计日志等企业级特性,适合大规模复杂场景。2026年数据显示,H

2025博客之星Top81。专注AI工程化与架构实战。从分布式思维到模型部署,用工程化视角为你厘清AI落地的真实路径。 1298

Jenkins 已死?GitOps 才是未来!基于 ArgoCD + Kustomize 构建“秒级发布”流水线

摘要: 在云原生时代,Jenkins 的 Push 模式(需集群高权限)已显落后,存在安全风险和维护难题。GitOps 采用 Pull 模式(如 ArgoCD),通过监听 Git 仓库实现集群状态自动同步,兼具安全、可回滚和防配置漂移优势。结合 Kustomize 的 Base+Overlay 配置复用,可快速完成多环境部署。实践方案为:Jenkins 专注 CI(构建镜像),ArgoCD 负责 CD(自动同步 Git 变更)。技术演进趋向声明式与自动化,GitOps 正成为现代化部署的核心方案。 (149

BUG猿的博客 765

CI/CD流程在跨境电商项目中的应用

跨境电商系统面临多区域部署、高并发、强合规等挑战,传统发布模式难以支撑业务增长。CI/CD通过自动化构建、测试和部署,能显著缩短发布周期、降低故障率。文章分析了跨境电商典型痛点,阐述了CI/CD核心价值,并设计了包含静态检查、安全门禁、灰度发布等环节的专属流水线。特别针对微服务迭代、大促备战、多区域发布等场景提出解决方案,强调质量左移、观测闭环等最佳实践。指出CI/CD是跨境电商实现高效稳定全球交付的关键基础设施,未来将成为技术团队标配能力。

weixin_41943766的博客 458

GitOps自问自答

operator应该始终处于与要部署的应用相同的环境或集群中,从而防止基于Push的方法所出现的上帝模式(god-mode),即CI/CD流水线需要获取执行部署的证书。如果使用GitOps,则对任何环境的每一个更改都必须通过存储库进行,因此可以随时查看主分支,并获取部署内容和地点的完整描述,以及对系统所做的每个更改的完整历史记录,还可以免费获得系统中任何更改的审计跟踪。基于Pull的部署策略与基于Push的部署策略使用相同的概念,但在部署流水线的工作方式上有所不同。结合基于Pull的部署方式,引入了。

残星说梦话 463

从手工流水线到智能驾驶舱:AI Native时代CI/CD的范式演进与实践

持续集成与持续交付(CI/CD)是现代软件工程的核心实践,其核心原理在于通过自动化工具链,将代码变更快速、可靠地集成到主干并交付至生产环境。传统CI/CD流水线通常依赖脚本化编排(如Jenkins),工程师需手动处理构建、测试、部署等环节,流程冗长且易出错。随着云原生与AI技术的融合,新一代CI/CD范式正从“手工操作”向“智能驾驶舱”演进,其技术价值在于通过声明式配置、全链路可观测性和AI辅助决策,实现交付流程的自治化与智能化。在应用场景上,这尤其适用于追求高效、安全交付的微服务架构与云原生环境。例如,平

weixin_34268579的博客 376

Kubernetes能否帮助解决自动化挑战?

组织层面的自动化一直是一个难以捉摸的目标,但Kubernetes可能能够改变这一切。

k8scaptain的博客 126

DevOps十年演进:从理念到实战,构建高效研发交付体系

在软件工程领域,持续集成与持续交付(CI/CD)是现代研发效能的核心实践,旨在通过自动化流水线缩短从代码提交到功能上线的价值交付周期。其技术原理在于将代码构建、测试、打包、部署等环节标准化和自动化,减少人工干预,从而提升交付速度与质量。这一实践的技术价值在于显著降低发布风险、加速市场反馈循环,并提升团队协作效率。在应用场景上,它广泛支撑着互联网、云计算、金融科技等行业的快速迭代需求。本文基于资深运维工程师的十年实践经验,深入探讨了如何落地一套完整的“运维开发一体化”体系,涵盖了从文化理念、工具链选型到基于G

weixin_34364071的博客 372

Devtron v0.7.0 发布说明深度解读:标签传播机制、NATS 通知体系与部署链路重构

本文以 Devtron 开源仓库 [CHANGELOG/release-notes-v0.7.0.md](https://link.gitcode.com/i/9375cda5acba4ac99274d142f2b8b995) 为主体,系统梳理 v0.7.0 版本在 Bug 修复、功能增强、文档建设与工程迁移四个维度的工作,并结合仓库源码(如 `pkg/app/AppCrudOperationSe

gitblog_00288的博客 1090

CoreWeave崛起背后:AI原生基础设施如何重塑GPU云服务与Kubernetes实践

在人工智能算力需求爆发的时代,通用云计算架构在处理大规模模型训练与推理时,常面临GPU资源碎片化、网络通信瓶颈及软硬件协同效率低下等核心挑战。其技术原理在于通过全栈GPU硬件、极致低延迟网络(如InfiniBand)与深度优化的Kubernetes软件栈,构建专为AI工作负载设计的高性能计算环境。这种AI原生基础设施的技术价值在于,它实现了算力的可预测性、规模化和高效利用,显著降低了分布式训练的复杂性与总体拥有成本。应用场景广泛覆盖大模型训练、实时推理服务及AI应用快速部署等领域。以CoreWeave为代表

cnracht8153的博客 458
上一篇: helm命令
下一篇: GitOps——一种实现云原生的持续交付模型
hxpjava1
博客等级 码龄19年 1365粉丝 511原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值