实时分析、融合统一及云原生,现代化数据仓库未来发展必经之路|专访飞轮科技 CEO 马如悦

大数据Doris(六十八):基于Doris on ES的架构实现总结 总结来说,如果要支持维度数据存储,并且支持Join,目前开源的各类引擎或多或少都存在一些局限性。Doris和Clickhouse这里引擎都支持Join,并且支持明细数据存储,但是如要要高频Update,也是没办法做到。如果跳出Olap引擎,在应用层做Join实现,也是一种解法,但是实现成本高。Doris on ES构建在这个能力之上,并且对查询做了大量的优化,这给对ES原理理解不深的同学带来了方便。目前Doris on ES还不支持聚合下推,但是对于我们维度数据查询场景其实是用不到聚合操作。 阅读详情

在国内拥有 2500+ 中大型企业用户,用户社群聚集开发者超 3 万人,活跃贡献者数连续数月稳居全球大数据开源项目排行榜第一。毋庸置疑,Apache Doris 已成为全国数据库和大数据领域最为活跃的开源项目之一。Apache Doris 历经近十年的发展,为何还能持续保持竞争力和活力?其背后的核心推动力又是什么?

在 QCon 全球软件开发大会·北京站的现场,基于 Apache Doris 的商业化公司飞轮科技的 CEO、Apache Doris 项目创始人 & PMC 马如悦接受了采访。马如悦曾在百度担任过分布式计算团队、大数据工程团队和 AI 产品工程团队的技术负责人,还主导设计和开发了实时数仓 Apache Doris。他对于 Apache Doris 的技术发展路线以及实时数仓的未来发展有着更加深刻的认知。

Q1:作为一名深耕数据库领域多年的从业者,您观察到企业对于数据仓库的需求点主要集中在哪方面?

马如悦:纵观数据仓库的发展历程,数据仓库的演进经历了三个阶段,第一阶段,即在 2010 年之前,传统数据仓库解决方案包括 Teradata、Greenplum、IBM Netezza 来处理大数据问题。第二阶段,约在 2010 年左右,随着谷歌三驾马车的问世,人们逐步开始使用 Hadoop 大数据平台进行数据分析。如今已经进入了第三阶段,现代化的数据仓库产品开始涌现,这些产品结合了传统数据仓库的可靠性和性能优势,同时具备了对大数据的高效处理和实时分析能力。

作为一个完整经历了第二代大数据平台历史的从业者,在百度早期我主要负责 Hadoop 和 Spark 相关的工作,后来主导设计了 Doris 并将 Doris 贡献至 Apache 基金会。我们认为第三代数据平台的主要特点是实时化、架构的融合统一化以及云原生化。

随着业务需求的不断增长,企业对数据的实时性要求也越来越高,现代化数据仓库需要具备高速的数据处理和分析能力,能够实时响应和处理大规模数据流。同时,企业越来越倾向于将数据存储和分析工作迁移到公有云 / 私有云 /K8s 上,因此现代化数据仓库需要支持云原生架构,具备弹性伸缩、自动化管理和云端部署的能力,以适应云计算环境的需求。除此之外,我认为融合统一是也是现代化数据仓库核心的特征。在大数据领域,存在众多的系统和组件,它们往往在架构中扮演着不同的角色。而随着时代的进步,架构“减负”已成为企业发展的重要目标,因此像融合数据库、超融合数据库、湖仓一体、流批一体等具有“融合统一”特征的数据库开始涌现。结合实际发展来看,过去几年,事务数据库已呈现明显的融合趋势,像 OceanBase、TiDB 以及 PolarDB 等新一代 NewSQL 事务数据库已经出现。同样地,数据仓库走到今天,融合统一也是必经之路。

这些特点其实也就是企业对于实时数据仓库的真实需求,也是 Apache Doris 在过去几年来广受认可的重要原因。

Q2:近期,我们关注到飞轮科技宣布将企业产品 SelectDB Cloud 云原生存算分离架构贡献到 Apache Doris 社区。在云原生存算分离架构的研发过程中,团队遇到过最大的技术难题是什么?又是通过什么方式解决的?

马如悦:有很多人之前就问到 Apache Doris 为什么没有实现存算分离,是因为技术太难了吗?实际不然,存算分离相比于存算一体来说更容易实现,存算分离依赖 HDFS、云上对象存储这样的共享存储系统,在设计实现时无需在存储层有太多投入,只需专注于计算层的实现即可。

那么回到问题本身,我们在云原生存算分离架构的研发过程中遇到了哪些问题:

一是如何实现存储和计算的状态剥离。在存算分离架构下,计算节点不再存储主数据,而是将共享存储层作为统一的数据主存储空间,这样计算节点可以做到无状态,可以实现完全关机,同时可实现更便捷的数据共享,不同的集群之间以及不同的仓库可以便捷地进行数据共享。

二是如何解决读取效率下降问题。存算分离依赖从网络上读取存储系统的数据来进行计算,在一定程度上会造成计算性能的下降,为了解决这一问题,我们利用 SSD 提供高速缓存来应对底层对象存储系统性能不佳和网络传输带来的性能下降。其次我们在存算分离模式下,提供了同一个仓库多个物理计算集群的隔离方式。计算集群可以独立扩缩容,其计算节点的本地高速缓存都是隔离的,这样尽可能保证了比较好的隔离性,从而避免集群间的影响,保证整体计算性能不下降。

三是解决对象存储读取带宽限制的问题。当用户购买公有云之后,云厂商会为每个企业账号分配资源配额,并提供对象存储访问平台供用户访问。然而我们作为一家软件服务商,我们希望产品能够被上万家甚至更多的企业使用,这就需要更多的带宽资源。过去,大部分云厂商都是直接服务终端用户,很少针对我们这类型的软件服务商做设计。而通过我们与各大云厂商的积极沟通,已经争取到了更大的带宽资源配合,足以满足当前各企业的需求。

此外,安全问题也是企业非常关心的问题。对于数据安全和合规性有着更高要求的企业,希望在享受自动化管理特性的同时,能够将数据存放在自己的账号下进行管控。因此,SelectDB 预计在 9 月底推出云上的一种新的产品形态,这款新的产品形态将实现数据面在客户账户,而管控面仍然在我们账户运行,这可以很好满足相关行业对数据安全管理的要求。

Q3:选择将存算分离架构贡献回开源社区,这一决策的出发点是什么?

马如悦:在回答这个问题之前,我想先分享一些我的所见所知。做开源的公司一般都会遇到这个经典的提问:云厂商会不会免费用你的代码来进行托管赚钱?

过去几年,我们观察到 MongoDB、Redis、ElasticSearch 等项目在不断变更许可证,但我认为这些调整无法解决根本问题,云厂商并不会因为许可证的改变而选择必须与这些项目合作,反而可能会推动他们自己开发与之兼容的产品。例如亚马逊云科技就推出了 DocumentDB、OpenSearch,这反而加剧了竞争局面。

我们的路线与之完全不同,我们致力于构建更加开放的生态系统。相比于和云厂商进行存量竞争,我们更愿意与云厂商携手合作,共同扩展市场。我们的目标是将蛋糕做得更大,让整个市场蓬勃发展。我们希望将 Apache Doris 打造成 AP 领域事实上的“MySQL”,只要 Apache Doris 成功了、做大了,全面拥抱 Doris 的所有商业厂商都能获益。我们只要努力保证我们的商业产品有足够的竞争力,能在市场上占领足够大的份额,我们的收益也是最大的。所以,我们选择了一个更开放的道路,与各家云厂商敞开怀抱合作,有竞争有合作。这种合作共赢的态度将促进整个生态系统的健康发展。

那么话说回来,如何才算更加开放?举一个简单的例子,当我们打通上下游生态时,我们是应该打通 Apache Doris 还是 SelectDB?许多人可能会认为,作为一家商业公司,我们应该打通 SelectDB,而我认为这种思路是不正确的。实际上我们花费了很多精力来帮助所有的上下游打通 Doris,这样当用户无论使用哪一家基于 Doris 开发的商业分发版的厂商都能顺利使用。这样一来,上下游厂商也更有动力去打通 Apache Doris,云厂商也愿意持续拥抱 Apache Doris 社区,广大的用户也能不被任何一个商业公司锁定,因为大家都遵守了 Apache Doris 的开源标准,也就不需要去学习每家商业厂商的不同。所以一旦秉着开放的心态做事,不是两方、三方共赢,而是所有方共赢。

回到最初的提问,飞轮科技选择将存算分离架构贡献给 Apache Doris 社区,其本质目的也是为了进一步让更多用户收益,如果大家都需要,我们就希望在内核层面提供支持,而不是希望各家分发商提供自己的实现,然后造成未来这块各方产品的不一致。而在这样的背景下,用户也可以获得兼容性更好、性价比更高的产品使用体验。

Q4:对于 Apache Doris 社区用户而言,新的存算分离架构在使用上有什么差异?如果用户想从存算一体的架构切到存算分离的架构,迁移方式与迁移成本是怎样的?

马如悦:Apache Doris 在国内有大约 2500 家企业使用,任何一个功能不兼容的问题都会对广泛的用户产生重大影响。因此,我们必须认真考虑企业升级的问题。因此,当 Apache Doris 推出存算分离架构时,我们非常谨慎地进行规划。目前,我们采取逐步迭代的方式,以确保最大程度地保护已有大量用户的利益。

在 Apache Doris 2.0 中,我们开始引入部分存算分离的能力,来解决大多数用户所面临存储成本高昂和计算弹性不足的问题。通过冷热数据分层(Tiered Storage),可以把将冷数据下沉到存储成本更加低廉的对象存储中。其次还引入了无状态的计算节点 Compute Node,Compute Node 不保存任何本次持久数据,在集群扩缩容时无需进行数据分片的负载均衡,因此在数据湖分析这种具有明显高峰的场景中可以灵活扩容、快速加入集群分摊计算压力。虽然这个版本并不没有实现纯粹的存算分离,但已经能解决用户许多问题。

在即将发布的社区 2.1 版本中,会发布更加彻底的存算分离架构。该版本将采用两种模式之一运行:存算一体的部署模式和存算分离的部署模式。在两种模式下运行的 Apache Doris 将以不同的方式来存储主数据。从用户使用体验上而言,绝大部分功能都是一致的,但是也会因为实现架构和部署模式的不同,带来一些功能细节上的差异。如果用户想要使用这个版本,就需要在搭建集群之初明确采用哪种模式。

我们也计划在明年,更进一步优化存算一体和存算分离的融合过程,为用户提供更加丝滑的架构切换体验。

Q5:现在市场上数据库产品越来越多,您觉得对于飞轮科技这家公司来说,我们的机遇和挑战分别是什么?

马如悦:放眼全球,中国数据库市场可以说是竞争最为激烈的。全球大约有五六百款数据库产品,而仅中国市场就占据了其中的两到三百款,这足以表明中国数据库市场的多样性和竞争程度。

面对如此激烈的竞争压力,我们最大的挑战是如何在众多企业中持续保有核心竞争力,这与未来数据仓库的发展趋势密切相关。正如前文所述,我们认为当前数据仓库未来的发展趋势一定是朝着实时分析、融合统一和云原生化分析方向发展的。而在这三个方面,我认为我们是国内目前相对领先、且理解较为深刻的厂商。

以湖仓融合体系为例,很多厂商也都在谈自己的湖仓融合,词是一个词,但是每个厂商落地到产品上就会不一样。Apache Doris 社区有自己的务实理解。Apache Doris 已经提供了高性能的计算引擎,使企业能够灵活地查询数据湖中的计算格式。同时,Apache Doris 还可以作为一个开放的数据湖,提供更加原生的能力,被其他查询引擎高速查询,目前为止,同类数据库产品中这一点只有 Apache Doris 在践行。

由此可见,实时分析、融合统一和云原生化这三个特性对于我们来说,不仅仅是一个概念,更是一个实际可行的目标。在大模型技术异常火热的今天,有很多人问为什么不做向量数据库的支持。一方面,我们对于向量化数据库这个垂直领域的理解还不够透彻,更不会因为热度而脱离主力目标发展方向;另一方面,Apache Doris 已经拥有庞大的用户群体,我们更倾向于将现有问题解决好,坚定地将上述提到的三个特性做扎实,这就足以满足大多数用户的需求。

Q6:去年亚马逊云科技在 re·Invent 提出的“Zero-ETL”,要解决什么问题?飞轮科技是否会有相应的布局?

马如悦:在数据基础设施中,主要包含事务数据库和分析数据库(数据仓库)两类,Zero-ETL 更多是让两者间的数据能够快速导入和贯通。

我认为 Zero-ETL 的出现给出了这个领域另一个问题的可能答案。很长时间,人们一直在谈论 HTAP,特别是以 OceanBase、TiDB、PolarDB 等以 TP 为主的厂商。这些系统以 TP 为主,但也宣称能解决 AP 的问题。从这么多年来实践来看,大量用户更愿意采用类似 MySQL/Oracle + Apache Doris 的组合方案。而 Zero-ETL 的出现也正是同样的思路,提供了实现 HTAP 另外的一种选择,它不认同要在一套系统里同时处理 TP 和 AP 的做法,而是可以采用快速地将 TP 的数据同步到 AP 中的方案。Zero-ETL 通过优化 TP 和 AP 打通的更好体验,提供了 HTAP 一体化的解决方案,而不是试图去在一套系统里解决两个问题。

这与数据仓库的实时分析能力有很大关系。举例来说,对于事务数据库来说,上游 TP 数据库的增删改操作希望能在在秒级以内同步至 AP 数据库,并且希望能够在 AP 数据库中立即查询分析。如果让 TP 的数据以 ETL 的方式进入 AP,数据处理链路的增加,势必造成数据进入数仓的速度也会随着变慢,整体可见性将受到影响。同时,由于越来越多的数据分析需求无法提前预知,所以分析前的预处理也变得无法提前规划,数仓能力的增强,也使得数据可以快速进入,然后在查询时按需对数据进行转化处理即可。现代化数据仓库提供实时分析能力,就需要类似 Zero-ETL 这样的方案,将 TP 数据库数据以秒级的速度高效同步到数据仓库系统中,以供类似 Apache Doris 进行高效处理和分析。

飞轮科技与阿里云合作的面向 Apache Doris 的阿里云云原生服务产品(阿里云 SelectDB 版本),已经在 8 月 20 日进行邀测,预计在 9 月底进行公测,其中也包括类似于 Zero-ETL 的解决方案。用户使用阿里云的 MySQL 或者 PolarDB 来作为事务数据库后,只需进行适当配置,数据就可以立即同步到阿里云上的 SelectDB 中,从而实现 TP 和 AP 数据库之间更好的协同工作。

写在最后

在采访最后,马如悦强调:“很多人问大数据分析领域有没有更新的黑科技了,实际到现在,大数据分析这个领域不是产品太少,黑科技太少,而是太多太复杂了。Hadoop 逐渐被替代最主要的原因是组件过于复杂,而过去数据仓库领域也涌现出了太多的新概念,我们接下来更希望把产品做得更简单、统一。”在他看来,Apache Doris 能否在未来稳居大数据项目第一梯队,并不是依靠更多的组件更多的功能,而是要坚定的专注于实时分析、融合统一和云原生化,将产品做到极致,让数据分析快速简单。

“实时分析、融合统一以及云原生化”,是马如悦在采访过程中不断强调的三个关键词。我们也很乐于看到,未来在飞轮科技的持续引领下,Apache Doris 能够持续朝着以上三个目标迭代,不断降低企业使用数据系统的复杂度。

Kubernetes容器编排与云原生部署实战 本文系统阐述云原生与Kubernetes的核心理念,从物理机到云原生的四次演进出发,解析容器化、不可变基础设施、声明式编排与可观测性的技术支柱。深入剖析Kubernetes的控制循环、核心组件架构及工作节点协同机制,结合真实场景提供部署、发布与排障实战指南,助力读者实现应用的可复现、可回滚与高可用管理。 阅读详情

相关推荐

雪亮工程视频联网技术详解:视综平台主流接入方式与协议分析

随着雪亮工程建设的深入,视频资源的汇聚与共享成为核心需求。本文简要剖析了雪亮视综平台下的视频联网接入技术,重点讲解了主流接入方式的区别与选型,并深入探讨了平台内部及跨平台的视频资源共享机制(含级联与推送模式),旨在为安防开发人员和系统集成商提供清晰的架构思路与技术参考。

lsz152590的博客 725

云原生运维学习笔记:Docker 数据卷、网络管理与镜像自定义深度实践

本文深入探讨Docker数据持久化、网络管理与镜像自定义三大核心运维技术。通过数据卷(Volume)实现容器数据持久化,支持匿名卷、命名卷及宿主机目录绑定;利用--volumes-from构建数据卷容器,实现多容器间数据共享。在网络层面,掌握端口映射(-p/-P)、自定义网络及容器通信机制。最后,基于Dockerfile实现应用镜像的定制化构建,为Kubernetes等云原生平台部署奠定基础。内容涵盖实践操作与原理剖析,是进阶容器运维的关键一环。

2604_96593683的博客 459

Coze HTTP请求节点实战:5分钟搞定天气API对接(含动态参数技巧)

本文通过一个天气预报API对接的实战案例,详细讲解了如何在Coze平台使用HTTP请求节点实现外部数据交互。文章重点演示了动态参数传递、JSON响应解析与错误处理等核心技巧,帮助开发者在5分钟内快速构建稳定可靠的智能体外部服务调用能力。

weixin_29233333的博客 677

云原生运维实战:Docker 底层存储、Compose 编排与 Ceph 入门

Docker Compose 用来定义和运行一组关联容器,通过 YAML 描述服务、网络、存储。v1:Python 开发,已经停止维护;v2:Go 开发,集成进 docker CLI,命令。。services:定义容器服务;networks:容器网络;volumes:数据卷持久化;configs:配置文件。

Wzh5452830的博客 213

VINS-Fusion实战:从零搭建无人机视觉SLAM系统(附ROS配置全流程)

本文详细介绍了如何从零开始为无人机搭建基于VINS-Fusion的视觉SLAM系统。内容涵盖硬件选型(重点推荐双目相机与IMU搭配)、ROS环境配置、传感器标定、核心参数调优以及实际飞行测试与问题排解全流程,旨在帮助开发者实现稳定、精确的无人机自主定位与导航。

wasm7browser的博客 216

生物信息学投稿避坑指南:如何根据影响因子和审稿速度选择最适合的期刊

本文为生物信息学研究者提供全面的期刊投稿策略,重点解析影响因子、审稿速度等关键指标,帮助选择最适合的期刊。涵盖算法开发类和应用型研究的投稿路径,分析不同出版社特点及开放获取的利弊,并提供投稿全流程优化建议,助力高效发表研究成果。

weixin_42652674的博客 380

云原生项目三:Docker秒级启动NextCloud个人网盘存储办公系统

首先讲解一下我的环境,我没有新建虚拟机,做上一个项目的时候在ping通外网后我给拍摄快照了,所以我就直接恢复快照了,小朋友不要和我学习哦,尽量新建虚拟机or克隆一个node出来,保证环境的干净,不然端口容易冲突,配置文件也是容易改错,最后导致实验失败。这次依旧是openeuler 22.03的镜像,处理器1个2核的,4GB的内存,20GB的存储打开虚拟机后先检查是否ping通外网,然后依旧关闭selinux,firewalld,然后就可以开始接下来的操作了。

zfm242397396的博客 235

信号与系统——卷积、相关运算与FFT关系以及工程应用(三)

卷积运算、相关运算

qq_35028634的博客 6615

云原生运维学习笔记:Docker 存储驱动原理、Compose 编排与图形化管理实战

本文深入解析Docker存储驱动原理,重点剖析overlay2的分层机制与底层目录结构。通过构建含sshd服务的镜像,实操验证了写时复制(COW)特性及各层依赖关系。结合docker info与container ps -s命令,直观展示容器可写层极小占用。进一步通过清空数据后导入镜像,揭示diff、lower、merged等核心文件的作用,揭示多层叠加与联合挂载机制。最终实现从单容器到多容器编排的运维升级,为后续使用Docker Compose与图形化管理奠定基础。

2604_96593683的博客 470

MEME-CHIP实战:5步搞定ChIP-seq数据中的motif发现与可视化

本文提供了使用MEME-CHIP工具进行ChIP-seq数据motif发现与可视化的完整实战指南。通过5个清晰步骤,从数据准备、环境搭建、命令行执行到结果解读与高级可视化,详细讲解了如何利用MEME-CHIP工作流高效完成从原始peak序列到发表级motif图的分析,并分享了关键的参数调优与避坑经验。

alice7model的博客 508

华为数通方向HCIP-DataCom H12-831题库(多选题:121-140)

华为数通HCIP H12-831多选题

didiplus 1292

云原生运维学习笔记:Docker 镜像定制、仓库管理与企业级底层技术剖析

本文系统梳理Docker镜像定制、仓库管理与底层技术。通过Dockerfile实现白盒化镜像构建,掌握RUN、CMD、ENTRYPOINT等核心指令及格式差异;基于私有仓库(Registry/Harbor)实现安全分发;深入剖析Namespace与Cgroups在资源隔离与限制中的作用,为生产环境排障与优化提供底层支撑。

2604_96593683的博客 413

为JETSON TX2开发板部署YoloV5

参考资料一:nvidia为JETSON Tx2编译的pytorch 参考资料二:Jetson软件包下载 参考资料三:Tx2安装工具的使用 参考资料四: Jetson烧录工具 参考资料五: B站下载的行人视频 一、升级TX2系统版本到最新版(JetPack4.6) 我拿到的板子的版本太低了,在工作的过程中会有很多问题,因此要先升级到最新版 下载参考资料四中的烧录工具,在Ubuntu18.04中安装,只能,必须,一定是Ubuntu18.04 安装完成后使用非root用户启动SDK Manger,登录Nvi.

贱贱的剑 5888

一次完整的云原生迁移:容器化、Kubernetes 与 CI/CD

本文记录一次完整的云原生迁移实践,涵盖容器化、K8s部署与CI/CD流水线搭建。强调迁移前提:服务边界清晰、无状态、可回滚。分三阶段推进:容器化确保镜像一致性;上K8s实现服务发现与弹性伸缩;构建GitOps流水线支持一键发布与回滚。架构采用Ingress+API网关+Service+持久层,决策选用Kustomize管理配置,暂不引入服务网格。可观测性依托Loki、Prometheus与Jaeger三板斧。总结关键踩坑:镜像拉取策略误用、资源限制缺失、健康检查配置不当,并给出针对性解决方案,强调“先夯实基

软件工程师文艺 1150

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

【云原生】Ubuntu部署 Kubernetes1.33

本文详细介绍了在Ubuntu 24系统上部署Kubernetes 1.33集群的全过程,涵盖三台主机(master、node1、node2)的基础环境配置,包括主机名设置、hosts绑定、关闭swap、开启IPv4转发及时间同步。重点完成Containerd安装与配置,包括卸载Docker残留、生成配置文件、启用systemd cgroup、添加国内镜像源及修改pause镜像地址。最后通过nerdctl验证容器运行时,为后续kubeadm初始化集群奠定基础。

weixin_73059729的博客 786

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

单体架构到云原生的数据报表系统重构踩过的坑

在当今的互联网行业中,数据统计与BI系统已经成为企业运营中不可或缺的一部分。而作为一个开发者,在不同阶段的架构演进过程中,我也亲历并经历了多个关键的技术转折点。从最初基于单体架构的报表系统,到微服务化改造,再到如今转向云原生的部署方式,每一次的重构都伴随着无数个技术细节和决策判断。本文将以数据报表系统的实际开发经历为背景,分享我在架构演进过程中踩过的坑及教训,供准备跳槽或面试的开发者参考。

qq_41106321的博客 202

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

云原生运维学习笔记:ECShop全链路容器化部署与Docker底层资源隔离深度剖析

本文基于Docker与Harbor私有仓库,实现ECShop电商平台(LNMP架构)全链路容器化部署。通过自定义PHP镜像、创建隔离网络、挂载宿主机配置与数据,解决镜像源失效、端口冲突等实战问题。同时深入Linux Namespace与Cgroups,剖析Docker资源隔离底层机制,掌握云原生环境下应用部署与系统原理的双重能力。

2604_96593683的博客 624

〖物流云原生实战 01〗K8s Operator 在物流定时任务中的实践:从“裸 CronJob”到“声明式任务编排”

在物流系统中,裸用K8s CronJob执行定时任务面临依赖缺失、重试无序、状态不可观等困境。通过引入Operator模式,以CRD定义任务业务属性,控制器实现调和循环与状态机管理,可精准处理依赖、分类错误重试,并实时暴露任务进度与指标。该方案将定时任务从“盲跑”变为“有状态、可依赖、可观测”的业务单元,真正实现“跑得对、看得见、管得住”。

Eyf • 半字节的博客 438

〖物流云原生实战 02〗Serverless 在物流峰值场景的弹性调度:如何用“无服务器”抗住大促洪峰?

物流大促期间流量呈“潮汐式”波动,传统K8s HPA扩容滞后,难以应对瞬时峰值。借助Serverless架构,通过KEDA基于Kafka积压量触发毫秒级弹性伸缩,结合GraalVM原生镜像实现0.05秒启动,可高效处理打单队列、月末对账等异步与低频任务。配合连接池代理与状态外置,规避无状态带来的数据库压力。实践表明:Serverless适配突发、非核心场景,而非替代所有微服务,是降本增效的利器。

Eyf • 半字节的博客 280

云原生运维学习笔记:Ceph 分布式存储架构深度解析与生产级部署实战

本文深度解析Ceph分布式存储架构,涵盖其统一存储、去中心化设计与CRUSH算法核心优势。基于Cephadm实现三节点生产级部署,详述环境准备、时间同步、容器镜像预拉取及集群引导流程,重点演示MON、OSD、MGR等组件编排,并覆盖扩容、下线等高频运维场景,为云原生环境下高可用存储落地提供实战指南。

2604_96593683的博客 410

云原生安全新范式:从“边界防护”到“身份成为新边界”

云原生并没有让安全变得不重要,而是让安全的判断依据发生了根本变化。当网络位置不再稳定、不再可信时,身份成为唯一贯穿请求全过程的稳定信号。把身份作为新边界,意味着以最小权限为前提、以持续验证为手段、以可观测为保障,构建一套随工作负载流动而始终有效的安全体系。这既是技术架构的演进,也是安全治理思路的升级。

2301_78078966的博客 195

云原生安全:容器、密钥与软件供应链治理

容器镜像通过扫描,不代表工作负载已经安全;Secret 使用 Base64 编码,也不代表数据已加密;镜像带有签名,更不代表集群一定会拒绝未经授权的制品。云原生安全需要从构建、存储、部署到运行时建立连续的控制,并明确每道控制能解决什么、不能解决什么。

m0_62221377的博客 202

云原生可观测性架构设计及其应用

第一,尾部采样的一致性路由在Gateway扩缩容或节点故障时仍可能出现Span分散,导致部分Trace的采样决策基于不完整上下文,遗漏边缘错误链路。第二,高基数治理目前以“禁止进入指标标签”的负向约束为主,缺乏正向的基数预算机制,新服务上线时标签设计的随意性仍可能逐步推高序列基数。:以DaemonSet形式部署,初始CPU request控制在50m量级,日志采集路径避免对全集群Pod的重复list/watch,仅处理本节点流,将采集侧的资源消耗限制在可预算的范围内。是成本与排障能力之间的核心权衡。

jcgu的专栏 294

2027数据开发工程师校招准备:SQL、数据仓库、项目与证书怎么排优先级?

数据库系统工程师可作为数据库知识的学习方向,云平台认证适合技术栈明确的目标岗位,数据分析类认证则属于补充,不替代工程实践。截至2026年11月12日,2027届通常对应的2026年9—10月秋招集中阶段已经过去。尚未拿到满意录用结果的同学,应同步关注秋招后续批次、补录及2027年春招,具体以企业公告为准。

cspttty的博客 204

啥是云计算?

1、云计算 (1)云计算是一种无处不在、便捷且按需对一个共享的可配置计算资源(包括网络、服务器、存储、应 用和服务等)进行网络访问的模式,它能够通过最少量的管理以及与服务提供商的互动实现计算资源的 迅速供给和释放。 (2)云计算基本特征 ①、按需服务:按需服务,自动分配资料 ②、泛在接入:随时随用,可接多种设备 ③、计费服务:根据使用量,计费 ④、弹性服务:资源弹性,规模弹性,自适动态变化。 ⑤、资源池化:资源共享统一管理,分配用户使用。 (3)云计算产生背景: 云计算这个概念首次在 2006 年 8 月的

大今野 180

云计算课程小组PPT汇报任务书

36人分为6组,每组6人;形式:生活案例调研 + 理论解读;汇报时长7‑9min;PPT建议10‑14页。

Michelle8023的博客 226
上一篇: 从 Clickhouse 到 Apache Doris:有赞业务场景下性能测试与迁移验证
下一篇: 定义现代化实时数据仓库,SelectDB 全新产品形态全面发布
SelectDB技术团队
博客等级 码龄4年 2119粉丝 489原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

SelectDB技术团队

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值