开源云原生大潮下的消息和流系统演进

AI代理运行时基础设施:从上下文牢笼到事件日志范式 AI代理(Agent)正从实验性功能迈向企业级生产系统,其核心瓶颈已从模型能力转向运行时(Runtime)稳定性与可运维性。传统‘上下文即内存’模式导致静默失效、不可追溯、无法恢复等工程顽疾;而以Session-as-Event-Log为代表的新型运行时架构,通过状态解耦、沙箱隔离与事件驱动持久化,重构了代理的生命周期管理。该范式不仅支撑高可靠长流程任务,更成为满足SOC2、HIPAA等合规审计要求的技术基座。随着AWS AgentCore免费化、K8s原生支持及Daytona等高性能开源方案崛起,Runt 阅读详情

云原生的诞生是为了解决传统应用在架构、故障处理、系统迭代等方面的问题,而开源则为企业打造云原生的架构贡献了中坚力量。本文作者在全身心投入开源以及每日参与云原生的过程中,对开源行业和云原生流系统解决方案有了不一样的思考与实践。

作者 | 李鹏辉 责编 | 唐小引
出品 | 新程序员

随着业务与环境的变化,云原生的趋势越来越明显。现在正是企业从云计算向云原生转型的时代,云原生理念经过几年落地实践的打磨已经得到了企业的广泛认可,云上应用管理更是成为企业数字化转型的必选项。可以说,现在的开发者,或正在使用基于云原生技术架构衍生的产品和工具,或正是这些产品和工具的开发者。

本文出自《新程序员·云原生和全面数字化实践》

在这里插入图片描述

云原生成为基础战略

那么,什么是云原生?每个人都有不同的解释。我认为,首先,云原生就是为了在云上运行而开发的应用,是对于企业持续快速、可靠、规模化地交付业务的解决方案。云原生的几个关键词,如容器化、持续交付、DevOps、微服务等无一不是在诠释其作为解决方案的特性与能力,而Kubernetes更以其开创性的声明式API和调节器模式,奠定了云原生的基础。

其次,云原生是一种战略。云原生的诞生是为了解决传统应用在架构、故障处理、系统迭代等方面存在的问题。从传统应用到云,与其说是一次技术升级,不如说将其视为战略转型。企业上云面临应用开发、系统架构、企业组织架构,甚至商业产品的全面整合,是否加入云原生大潮一次是将从方方面面影响企业长期发展的战略性决策。

搭配开源底色的云原生

近几年诞生的与架构相关的开源项目大部分采用云原生架构设计,开源为企业打造云原生的架构贡献了中坚力量。

开源技术与生态值得信任,云可以给用户带来好的伸缩性,降低资源浪费。云原生和开源的关系也可以从以CNCF为主的开源基金会持续推进云原生的发展中略窥一二。许多开源项目本身就是为云原生架构而生的,这是用户上云会优先考虑的基础软件特点。

以Apache软件基金会为例,它是一个中立的开源软件孵化和治理平台。Apache软件基金会在长期的开源治理中,总结出的Apache之道(Apache Way)被大家奉为圭臬,其中“社区大于代码”广为流传,即没有社区的项目是难以长久的。一个社区和代码保持高活跃度的开源项目,经过全世界开发者在多种场景的打磨,可以不断完善、频繁地升级迭代,并诞生丰富的生态以满足不同的用户需求。云原生大潮与当前开源大环境两种因素叠加,就会使那些伴随技术环境不断升级的优秀技术推陈出新、脱颖而出,不适应时代的技术会渐渐落后,甚至被淘汰。正如我之前所说,云原生是战略性决策,企业的战略性决策必定会首选最先进、最可靠的技术。

为云而生的消息流数据系统

前文讲述了云原生环境下开源的重要性,那么一个云原生的开源项目需要如何去设计、规划和演进?云原生时代的企业数字化转型应如何选择消息和流系统?在本文中,我将以自己全身心投入的开源云原生消息和流数据系统Apache Pulsar的设计和规划为例进行剖析。希望能够为大家提供参考思路,并为寻求消息和流数据系统解决方案带来启发。

回顾历史:消息与流的双轨制

消息队列通常用于构建核心业务应用程序服务,流则通常用于构建包括数据管道等在内的实时数据服务。消息队列拥有比流更长的历史,也就是开发者们所熟悉的消息中间件,它侧重在通信行业,常见的系统有RabbitMQ和ActiveMQ。相对来说,流系统是一个新概念,多用于移动和处理大量数据的场景,如日志数据、点击事件等运营数据就是以流的形式展示的,常见的流系统有Apache Kafka和AWS Kinesis。

由于之前的技术原因,人们把消息和流分为两种模型分别对待。企业需要搭建多种不同的系统来支持这两种业务场景(见图1),由此造成基础架构存在大量“双轨制”现象,导致数据隔离、数据孤岛,数据无法形成顺畅流转,治理难度大大提升,架构复杂度和运维成本也都居高不下。

在这里插入图片描述

图1 企业搭建不同的系统支持业务场景导致的“双轨制”

基于此,我们亟须一个集成消息队列和流语义的统一实时数据基础设施,Apache Pulsar由此而生。消息在Apache Pulsar主题上存储一次,但可以通过不同订阅模型,以不同的方式进行消费(见图2),这样就解决了传统消息和流“双轨制”造成的大量问题。
在这里插入图片描述

图2 Apache Pulsar集成消息队列与流语义

实现天然云原生的关键要素

上文提到,云原生时代带给开发者的是能够快速扩缩容、降低资源浪费,加速业务推进落地。有了类似Apache Pulsar这种天然云原生的消息和流数据基础设施,开发者可以更好地聚焦在应用程序和微服务开发,而不是把时间浪费在维护复杂的基础系统上。

为什么说Apache Puslar是“天然云原生”?这与在当初设计原型的底层架构有关。存储计算分离、分层分片的云原生架构,极大地减轻了用户在消息系统中遇到的扩展和运维困难,能在云平台以更低成本给用户提供优质服务,能够很好地满足云原生时代消息系统和流数据系统的需求。

生物学有一个结论,叫“结构与功能相适应”。从单细胞原生生物到哺乳动物,其生命结构越来越复杂,具备的功能也越来越高级。基础系统同理,“架构与功能相适用”体现在Apache Pulsar上有这样几点:

  • 存储计算分离架构可保障高可扩展性,可以充分发挥云的弹性优势。

  • 跨地域复制,可以满足跨云数据多备的需求。

  • 分层存储,可充分利用如AWS S3等的云原生存储,有效降低数据存储成本。

轻量化函数计算框架Pulsar Functions,类似于AWS Lambda平台,将FaaS引入Pulsar。而Function Mesh是一种Kubernetes Operator,助力用户在Kubernetes中原生使用Pulsar Functions和连接器,充分发挥Kubernetes资源分配、弹性伸缩、灵活调度等特性。

基础架构:存储计算分离、分层分片

上文说到,Pulsar在诞生之初就采用了云原生的设计,即存储计算分离的架构,存储层基于Apache软件基金会开源项目BookKeeper。BookKeeper是一个高一致性、分布式只追加(Append-only)的日志抽象,与消息系统和流数据场景类似,新的消息不断追加,刚好应用于消息和流数据领域。

Pulsar架构中数据服务和数据存储是单独的两层(见图3),数据服务层由无状态的Broker节点组成,数据存储层则由Bookie节点组成,服务层和存储层的每个节点对等。Broker仅负责消息的服务支持,不存储数据,这为服务层和存储层提供了独立的扩缩容能力和高可用能力,大幅减少了服务不可用时间。BookKeeper中的对等存储节点,可以保证多个备份被并发访问,也保证了即使存储中只有一份数据可用,也可以对外提供服务。
在这里插入图片描述

图3 Pulsar架构

在这种分层架构中,服务层和存储层都能够独立扩展,提供灵活的弹性扩容,特别是在弹性环境(如云和容器)中能自动扩缩容,动态适应流量峰值。同时,显著降低集群扩展和升级的复杂性,提高系统的可用性和可管理性。此外,这种设计对容器也非常友好。

Pulsar将主题分区按照更小的分片粒度来存储(见图4)。这些分片被均匀打散,将会分布在存储层的Bookie节点上。这种以分片为中心的数据存储方式,将主题分区作为一个逻辑概念,分为多个较小的分片,并均匀分布和存储在存储层中。这样的设计可以带来更好的性能、更灵活的扩展性和更高的可用性。
在这里插入图片描述

图4 分片存储模型

从图5可见,相比大多数消息队列或流系统(包括Apache Kafka)均采用单体架构,其消息处理和消息持久化(如果提供了的话)都在集群内的同一个节点上。此类架构设计适合在小型环境部署,当大规模使用时,传统消息队列或流系统就会面临性能、可伸缩性和灵活性方面的问题。随着网络带宽的提升、存储延迟的显著降低,存储计算分离的架构优势变得更加明显。

在这里插入图片描述

图5 传统单体架构vs存储计算分层架构

读写区别

接着上述内容,我们来看一下消息的写入、读取等方面的区别体现在哪里。

首先看写入。图6左侧是单体架构的应用,数据写入leader,leader将数据复制到其他follower,这是典型的存储计算不分离的架构设计。在图6右侧则是存储计算分离的应用,数据写入Broker,Broker并行地往多个存储节点上写。假如要求3个副本,在选择强一致性、低延迟时两个副本返回才算成功。如果Broker有leader的角色,就会受限于leader所在机器的资源情况,因为leader返回,我们才能确认消息成功写入。

在这里插入图片描述

图6 单体架构与分层架构写入对比

在右侧对等的分层架构中,三个中任意两个节点在写入后返回即为成功写入。我们在AWS上进行性能测试时发现,两种结构在刷盘时的延迟也会有几毫秒的差距:在单机系统中落在leader上的topic会有延迟,而在分层架构中受到延迟影响较小。

在实时数据处理中,实时读取占据了90%的场景(见图7)。在分层架构中,实时读取可以直接通过Broker的topic尾部缓存进行,不需要接触存储节点,能够在很大程度上提升数据读取的效率和实时性。

在这里插入图片描述

图7 单体架构与分层架构读取实时数据对比

架构也导致了读取历史数据时的区别。从图8可见,在单体架构中,回放消息时直接找到leader,从磁盘上读取消息。在存储计算分离的架构上,需要将数据加载到Broker再返回客户端,以此保证数据读取的顺序性。当读取数据对顺序性没有严格要求时,Apache Pulsar支持同时并行从多个存储节点读取数据段,即使是读取一个topic的数据也可以利用多台存储节点的资源提升读取的吞吐量,Pulsar SQL也是利用这种方式来读取的。
在这里插入图片描述

图8 单体架构与分层架构读取历史数据对比

IO隔离

BookKeeper内部做了很好的数据写入和读取的IO隔离。BookKeeper可以指定两类存储设备,图9左侧是Journal盘存放writeheadlog,右侧才是真正存储数据的地方。即使在读取历史数据时,也会尽可能地保证写入的延迟不会受到影响。

在这里插入图片描述

图9 BookKeeper的IO隔离

如果利用云平台的资源,Pulsar的IO隔离可以让用户选择不同的资源类型。由于Journal盘并不需要存放大量的数据,很多云用户会根据自己的需求配置来达到低成本、高服务质量的目的,如Journal盘使用低存储空间、高吞吐低延迟的资源,数据盘选择对应吞吐可以存放大量数据的设备。

扩缩容

存储计算分离允许Broker和BookKeeper分别进行扩缩容,下面为大家介绍扩缩容topic的过程。假设n个topic分布在不同的Broker上,新的Broker加入能够在1s内进行topic ownership的转移,可视为无状态的topic组的转移。这样,部分topic可以快速地转移至新的Broker。

对于存储节点来说,多个数据分片散布在不同的BookKeeper节点上,扩容时即新加入一个BookKeeper,并且这种行为不会导致历史数据的复制。每一个topic在经历一段时间的数据写入后,会进行分片切换,即切换到下一个数据分片。在切换时会重新选择Bookies放置数据,由此达到逐渐平衡。如果有BookKeeper节点挂掉,BookKeeper会自动补齐副本数,在此过程中,topic不会受到影响。

跨云数据多备

Pulsar支持跨云数据多备(见图10),允许组成跨机房集群来进行数据的双向同步。很多国外用户在不同的云厂商部署跨云集群,当有一个集群出现问题时,可以快速切换到另外的集群。异步复制只会产生细微的数据同步缺口,但可以获得更高的服务质量,同时订阅的状态也可以在集群间同步。
在这里插入图片描述

图10 跨云数据多备

进入无服务器架构时代

Pulsar Functions与Function Mesh让Pulsar跨入了无服务器架构时代。Pulsar Functions是一个轻量级的计算框架,主要是为了提供一个部署和运维都能非常简单的平台。Pulsar Functions主打轻量、简单,可用于处理简单的ETL作业(提取、转化、加载)、实时聚合、事件路由等,基本可以覆盖90%以上的流处理场景。Pulsar Functions借鉴了无服务器架构(Serverless)和函数即服务(FaaS)理念,可以让数据得到“就近”处理,让价值得到即时挖掘(见图11)。

在这里插入图片描述
图11 单条Pulsar Function消息流转

Pulsar Functions只是单个应用函数,为了让多个函数关联在一起,组合完成数据处理目标,诞生了Function Mesh(已开源)。Function Mesh同样采用无服务器架构,它也是一种Kubernetes Operator,有了它,开发者就可以在Kubernetes上原生使用Pulsar Functions和各种Pulsar连接器,充分发挥Kubernetes资源分配、弹性伸缩、灵活调度等特性。例如,Function Mesh依赖Kubernetes的调度能力,确保Functions的故障恢复能力,并且可以在任意时间适当调度Functions。

Function Mesh主要由Kubernetes Operator和Function Runner两个组件组成。Kubernetes Operator监测Function Mesh CRD、创建Kubernetes资源(即StatefulSet),从而在Kubernetes运行Function、连接器和Mesh。Function Runner负责调用Function和连接器逻辑,处理从输入流中接收的事件,并将处理结果发送到输出流。目前,Function Runner基于Pulsar Functions Runner实现。

当用户创建Function Mesh CRD时(见图12),Function Mesh控制器从Kubernetes API服务器接收已提交的CRD,然后处理CRD并生成相应的Kubernetes资源。例如,Function Mesh控制器在处理Function CRD时,会创建StatefulSet,它的每个Pod都会启动一个Runner来调用对应的Function。

在这里插入图片描述

图12 Function Mesh处理CRD过程

Function Mesh API基于现有Kubernetes API实现,因此Function Mesh资源与其他Kubernetes原生资源兼容,集群管理员可以使用现有Kubernetes工具管理Function Mesh资源。Function Mesh采用Kubernetes Custom Resource Definition(CRD),集群管理员可以通过CRD自定义资源,开发事件流应用程序。

用户可以使用kubectl CLI工具将CRD直接提交到Kubernetes集群,而无须使用pulsar-admin CLI工具向Pulsar集群发送Function请求。Function Mesh控制器监测CRD并创建Kubernetes资源,运行自定义的Function、Source、Sink或Mesh。这种方法的优势在于Kubernetes直接存储并管理Function元数据和运行状态,从而避免在Pulsar现有方案中可能存在的元数据与运行状态不一致的问题。

结语

在本文中,我分享了自己在云原生环境下,对于开源行业的思考和云原生流平台解决方案的技术实践。作为一名全身心投入的开源人,我很高兴看到近几年有越来越多的人认可开源理念并成为开源开发者与贡献者,开源行业正在蓬勃发展。我希望能和无数的开发者一样,在开源道路上一往无前,助力更多企业加速云原生和数字化进程。

作者介绍:在这里插入图片描述

​本文出自《新程序员·云原生和全面数字化实践》。在《新程序员003》中,我们聚焦“云原生时代的开发者”与“全面数字化转型”两大主题。阿里、字节跳动、网易、快手、亚马逊等互联网大厂的云原生技术的赋能者,从技术定义、技术应用、实践案例分享等方面,以直击内核的硬核输出全面解析云原生,帮助开发者在云原生时代快速找到适合自身发展的技术范式。
同时,我们也将对微软、英特尔、华为、施耐德、西门子等首批开启数字化转型的企业展开报道,通过十多位技术专家分享的鲜活案例,一窥金融、新零售、工业物联网等领域的数字化转型成果,帮助更多关注数字化转型的开发者从先驱者的经验中获得启迪。
阅读更多相关技术文章及行业资讯,欢迎扫描下方二维码订阅《新程序员003》纸质书+电子书。
​在这里插入图片描述

【昇腾】用MindIE(服务化方式)拉起glm4-9b-chat模型问题解决 【昇腾】用MindIE拉起glm4-9b-chat模型问题解决: LLMInferEngine failed to init LLMInferModels ERR: Failed to init endpoint! Please check the service log or console output. Killed make sure the folder's owner has execute permission. 阅读详情

相关推荐

tecplot 通过数据点、坐标点绘制云图、三维云图

使用坐标点绘制二维云图或三维云图

medicalmask的博客 3万+

Flink浅谈入门+vsSparkStreaming+流语义性etc.

Flink https://flink.apache.org/zh/ 1.???? what 1.1 奥义 1.1.1 起源 10年,德国柏林几个大学对大数据进行处理,流式计算的研究项目。 14年,源代码捐给了Apache基金会,成为孵化项目 15年1月,短短几个月,成为Apache顶级项目,应用广泛 17年,阿里巴巴接手,投入大量人力物力 1.1.2 了解 Flink德语:快速灵巧 logo小故事: 源于德国柏林,地区多红棕色松鼠,特点是快速灵巧。 红棕色又与Apache基金会logo一致,

@coredao 463

第八章 MobileNetv3网络详解

本文介绍了基于互补的搜索技术和新颖的架构设计的MobileNets的下一代。MobileNetV3通过硬件感知网络架构搜索(NAS)和NetAdapt算法相结合,针对移动电话CPU进行优化,随后通过新颖的架构改进技术进行了进一步提高。本文开始探索自动化搜索算法和网络设计如何相互协作,以利用互补的方法改进整体技术水平。通过此过程,我们创建了两个新的MobileNet模型:MobileNetV3-Large和MobileNetV3-Small,分别针对高资源和低资源使用情况。

ADICDFHL的博客 1万+

《新程序员》杂志|李鹏辉谈开源云原生消息流系统

本文出自《新程序员·云原生和全面数字化实践》。作者李鹏辉,Apache Pulsar PMC 成员,StreamNative 首席工程师。责编 优快云 唐小引。随着业务与环境的变化,云...

Apache Pulsar 339

超酷炫,Python实现交通数据可视化!

此时输出的栅格化参数params的内容存储了栅格坐标系的原点坐标(slon、slat)、单个栅格的经纬度长宽 (deltalon、deltalat)、栅格的旋转角度(theta)、栅格的形状(method参数,其值可以是方形rect、三角形tri和六边形hexa)以及栅格的大小(gridsize参数,单位为米)。Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。今天分享一次Python交通数据分析与可视化的实战!

m0_59236127的博客 1700

[MR]RCM约束下的手术机器人

RCM(Remote Center of Motion)约束,通俗讲就是做微创手术时,机械臂插进身体,机械臂受身体的插入点的约束,不能乱动。 相关参考论文 Task Control with Remote Center of Motion Constraint for Minimally Invasive Robotic Surgery ...

土豆大叔的博客 4585

左耳朵耗子:云原生时代的开发者应具备这5大能力

优快云编者按】十年前,Netscape创始人、硅谷著名投资人马克·安德森(MarcAndreessen)预言“软件正在吞噬世界”;数年后,软件里90%以上的代码都是开源代码,“开源正在吞噬软件”;如今,“云原生吞噬开源”,开源项目正在向云化演进。在面对全新时代——云原生的到来,开发者应具备哪些知识和能力才能呢?在《》中,我们特邀请具有20多年互联网和金融架构从业经验,MegaEase创始人陈皓(网名左耳朵耗子)为云原生专题撰文!作者|左耳朵耗子(陈皓)责编|张红月。......

《程序员》官方BLOG 5322

绕过Google Play:获取Expo Go安卓APK的实用指南

本文为国内安卓开发者提供了绕过Google Play商店获取Expo Go APK的实用指南。针对无法访问Google Play的痛点,详细介绍了通过官方GitHub Releases、可信第三方网站(如APKMirror)及APK下载器等多种安全获取途径,并重点讲解了APK安装、安全验证(核对签名)及常见连接问题的排查方法,帮助开发者顺利开启React Native开发之旅。

weixin_29006701的博客 582

云原生时代,开发者应具备这5大能力

【优快云编者按】十年前,Netscape创始人、硅谷著名投资人马克·安德森(Marc Andreessen)预言“软件正在吞噬世界”;数年后,软件里90%以上的代码都是开源代码,“开源正在吞噬软件”;如今,“云原生吞噬开源”,开源项目正在向云化演进。在面对全新时代——云原生的到来,开发者应具备哪些知识和能力才能呢?在《新程序员003:云原生和全面数字化实践》中,我们特...

优快云云计算 795

支付系统保证可靠性的秘诀 ----- 订单的补偿和补单

文章目录WHAT? 前言WHY? 为什么要用多级缓存?HOW 怎么做?方案 版本1:数据库存储专线配置通过优先级进行动态上下线方案 版本1 劣势:方案 版本2 :本地缓存替代数据库方案 版本2 劣势:方案 版本3:分布式缓存做自动补偿方案 版本3 总结:Where 分布式多级缓存还能用在哪些地方?总结 WHAT? 前言 刚入职场的时候觉得支付宝等第三方支付系统好强大,要保证这么多的交易不能错,也不能重复还要保证正确的扣钱,直到后面接触订单系统以及第三方支付公司的核心交易系统后才真正窥探到了支付系统的核心

boboaisisi的专栏 3535

Qt Quick/QML入门到精通_专栏demo对应文章目录(目前50个左右demo/长期更新)

自定义图标下拉列表框的效果如下所示:自定义三态按钮的效果如下所示:传送门:53.qt quick-自定义三态按钮、自定义图标下拉列表框_诺谦的博客-优快云博客传送门:59.qt quick-qml调色板(颜色取色器)实现、自定义QQuickStyle样式_诺谦的博客-优快云博客63.qt quick-QML侧边滑动栏(不需要任何图片资源,支持自定义左右方向和大小)_诺谦的博客-优快云博客_qt实现好看侧边栏。...

抵抗时间扭曲,坚持做一件有意义的事 2万+

左耳朵耗子:云原生时代的开发者应具备的5大能力

【优快云 编者按】十年前,Netscape创始人、硅谷著名投资人马克·安德森(Marc Andreessen)预言“软件正在吞噬世界”;数年后,软件里90%以上的代码都是开源代码,“开源正在吞噬软件”;如今,“云原生吞噬开源”,开源项目正在向云化演进。在面对全新时代——云原生的到来,开发者应具备哪些知识和能力才能呢?在《新程序员003:云原生和全面数字化实践》中,我们特...

优快云资讯 3194

Android16 动态隐藏systemUI右侧音量条

本文介绍了如何屏蔽SystemUI系统音量条并显示自定义音量控制条的实现方法。主要通过两个步骤:1)在编译脚本中定义控制属性persist.rp.show.volume.dialog=off来隐藏系统音量条;2)修改SystemUI源码中的VolumeDialogImpl.java文件,在showH方法中根据属性值判断是否显示系统音量条。当属性值为off时直接return,从而屏蔽系统音量条的显示,实现自定义音量控制条的替代显示。该方法通过系统属性控制显示状态,具有灵活可控的特点。

tzj1058756809的博客 781

阿里云基于全新RocketMQ 5.0内核的落地实践

在上个月结束的RocketMQ Summit 全球开发者峰会中,由 Apache RocketMQ 社区主办,阿里云天池平台、云原生应用平台承办的首届 RocketMQ Summit 全球开发者峰会拉开帷幕。Apache RocketMQ 社区发布了新一代 RocketMQ 的能力全景图,为众多开发者阐述 RocketMQ 5.0 这一大版本的技术定位与发展方向。并且来自快手、小米、字节跳动等互联网头部企业的 40 位演讲嘉宾与众多开发者分享各自行业的最佳实践与技术探索经验。......

fanxiaoxuan1123的博客 468

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

国产数据库“向未来”

关注云报洞察深一度2021年的最后一个月,关于国产数据库的好消息不断。腾讯云分布式数据库TDSQL在东吴证券新一代核心交易系统中成功落地。这是腾讯云分布式数据库TDSQL在银行业实现核心数...

666

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

云原生运维学习笔记:Docker 数据卷、网络管理与镜像自定义深度实践

本文深入探讨Docker数据持久化、网络管理与镜像自定义三大核心运维技术。通过数据卷(Volume)实现容器数据持久化,支持匿名卷、命名卷及宿主机目录绑定;利用--volumes-from构建数据卷容器,实现多容器间数据共享。在网络层面,掌握端口映射(-p/-P)、自定义网络及容器通信机制。最后,基于Dockerfile实现应用镜像的定制化构建,为Kubernetes等云原生平台部署奠定基础。内容涵盖实践操作与原理剖析,是进阶容器运维的关键一环。

2604_96593683的博客 460

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

云原生运维实战:Docker 底层存储、Compose 编排与 Ceph 入门

Docker Compose 用来定义和运行一组关联容器,通过 YAML 描述服务、网络、存储。v1:Python 开发,已经停止维护;v2:Go 开发,集成进 docker CLI,命令。。services:定义容器服务;networks:容器网络;volumes:数据卷持久化;configs:配置文件。

Wzh5452830的博客 217

云原生项目三:Docker秒级启动NextCloud个人网盘存储办公系统

首先讲解一下我的环境,我没有新建虚拟机,做上一个项目的时候在ping通外网后我给拍摄快照了,所以我就直接恢复快照了,小朋友不要和我学习哦,尽量新建虚拟机or克隆一个node出来,保证环境的干净,不然端口容易冲突,配置文件也是容易改错,最后导致实验失败。这次依旧是openeuler 22.03的镜像,处理器1个2核的,4GB的内存,20GB的存储打开虚拟机后先检查是否ping通外网,然后依旧关闭selinux,firewalld,然后就可以开始接下来的操作了。

zfm242397396的博客 237

云原生运维学习笔记:Docker 存储驱动原理、Compose 编排与图形化管理实战

本文深入解析Docker存储驱动原理,重点剖析overlay2的分层机制与底层目录结构。通过构建含sshd服务的镜像,实操验证了写时复制(COW)特性及各层依赖关系。结合docker info与container ps -s命令,直观展示容器可写层极小占用。进一步通过清空数据后导入镜像,揭示diff、lower、merged等核心文件的作用,揭示多层叠加与联合挂载机制。最终实现从单容器到多容器编排的运维升级,为后续使用Docker Compose与图形化管理奠定基础。

2604_96593683的博客 472

云原生运维学习笔记:Docker 镜像定制、仓库管理与企业级底层技术剖析

本文系统梳理Docker镜像定制、仓库管理与底层技术。通过Dockerfile实现白盒化镜像构建,掌握RUN、CMD、ENTRYPOINT等核心指令及格式差异;基于私有仓库(Registry/Harbor)实现安全分发;深入剖析Namespace与Cgroups在资源隔离与限制中的作用,为生产环境排障与优化提供底层支撑。

2604_96593683的博客 413

一次完整的云原生迁移:容器化、Kubernetes 与 CI/CD

本文记录一次完整的云原生迁移实践,涵盖容器化、K8s部署与CI/CD流水线搭建。强调迁移前提:服务边界清晰、无状态、可回滚。分三阶段推进:容器化确保镜像一致性;上K8s实现服务发现与弹性伸缩;构建GitOps流水线支持一键发布与回滚。架构采用Ingress+API网关+Service+持久层,决策选用Kustomize管理配置,暂不引入服务网格。可观测性依托Loki、Prometheus与Jaeger三板斧。总结关键踩坑:镜像拉取策略误用、资源限制缺失、健康检查配置不当,并给出针对性解决方案,强调“先夯实基

软件工程师文艺 1152

【云原生】Ubuntu部署 Kubernetes1.33

本文详细介绍了在Ubuntu 24系统上部署Kubernetes 1.33集群的全过程,涵盖三台主机(master、node1、node2)的基础环境配置,包括主机名设置、hosts绑定、关闭swap、开启IPv4转发及时间同步。重点完成Containerd安装与配置,包括卸载Docker残留、生成配置文件、启用systemd cgroup、添加国内镜像源及修改pause镜像地址。最后通过nerdctl验证容器运行时,为后续kubeadm初始化集群奠定基础。

weixin_73059729的博客 786

单体架构到云原生的数据报表系统重构踩过的坑

在当今的互联网行业中,数据统计与BI系统已经成为企业运营中不可或缺的一部分。而作为一个开发者,在不同阶段的架构演进过程中,我也亲历并经历了多个关键的技术转折点。从最初基于单体架构的报表系统,到微服务化改造,再到如今转向云原生的部署方式,每一次的重构都伴随着无数个技术细节和决策判断。本文将以数据报表系统的实际开发经历为背景,分享我在架构演进过程中踩过的坑及教训,供准备跳槽或面试的开发者参考。

qq_41106321的博客 203

〖物流云原生实战 01〗K8s Operator 在物流定时任务中的实践:从“裸 CronJob”到“声明式任务编排”

在物流系统中,裸用K8s CronJob执行定时任务面临依赖缺失、重试无序、状态不可观等困境。通过引入Operator模式,以CRD定义任务业务属性,控制器实现调和循环与状态机管理,可精准处理依赖、分类错误重试,并实时暴露任务进度与指标。该方案将定时任务从“盲跑”变为“有状态、可依赖、可观测”的业务单元,真正实现“跑得对、看得见、管得住”。

Eyf • 半字节的博客 450

云原生运维学习笔记:ECShop全链路容器化部署与Docker底层资源隔离深度剖析

本文基于Docker与Harbor私有仓库,实现ECShop电商平台(LNMP架构)全链路容器化部署。通过自定义PHP镜像、创建隔离网络、挂载宿主机配置与数据,解决镜像源失效、端口冲突等实战问题。同时深入Linux Namespace与Cgroups,剖析Docker资源隔离底层机制,掌握云原生环境下应用部署与系统原理的双重能力。

2604_96593683的博客 624

〖物流云原生实战 02〗Serverless 在物流峰值场景的弹性调度:如何用“无服务器”抗住大促洪峰?

物流大促期间流量呈“潮汐式”波动,传统K8s HPA扩容滞后,难以应对瞬时峰值。借助Serverless架构,通过KEDA基于Kafka积压量触发毫秒级弹性伸缩,结合GraalVM原生镜像实现0.05秒启动,可高效处理打单队列、月末对账等异步与低频任务。配合连接池代理与状态外置,规避无状态带来的数据库压力。实践表明:Serverless适配突发、非核心场景,而非替代所有微服务,是降本增效的利器。

Eyf • 半字节的博客 282
上一篇: 从个人英雄到万能开发者,程序员3.0时代到来
下一篇: 云原生与大数据、AIoT、开源的碰撞之路——专访小米崔宝秋
评论 6
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值