在 Kubesphere 中开启新一代云原生数仓 Databend

Kubernetes容器编排与云原生部署实战 本文系统阐述云原生与Kubernetes的核心理念,从物理机到云原生的四次演进出发,解析容器化、不可变基础设施、声明式编排与可观测性的技术支柱。深入剖析Kubernetes的控制循环、核心组件架构及工作节点协同机制,结合真实场景提供部署、发布与排障实战指南,助力读者实现应用的可复现、可回滚与高可用管理。 阅读详情

上周六,由 KubeSphere 社区联合 Databend 社区以及纵目科技共同组织的云原生 Meetup 北京站在北京圆满落幕。本次 Meetup 活动邀请到了 SkyWalking PMC 成员、青云科技架构及可观测性团队负责人、江苏纵目科技 APM 研发总监、青云科技容器产品经理、数元灵科技 CTO 以及 Databend 云平台负责人等专家和大咖,为小伙伴们带来精彩的技术分享。

Databend Labs 云平台负责人李亚舟

在活动中,Databend 云平台负责人李亚舟老师为大家带来的分享是《使用 Kubesphere 部署 Databend,极速启动新一代云原生数据分析平台》,介绍了如何使用 KubeSphere 创建和部署 Databend 高可用集群,并使用 QingStor 作为底层存储服务,解锁 Databend 的强大分析能力。以下是演讲实录:

【Meetup 分享】使用 KubeSphere 部署 Databend,极速启动新一代云原生数据分析平台_哔哩哔哩_bilibili

Databend 是一个用 Rust 研发,采用存算分离架构,基于对象存储构建的云原生数仓。它可以提供极致的性能、快速的弹性扩展能力,用户可以私有化部署也可以直接使用云上的 SaaS 服务,致力于打造开源版的 Snowflake 产品。随着数据量逐渐增长,大数据的痛点是长期存在的,即海量数据的存储成本和管理复杂性高等。面对这种情况,对象存储可以说是存储成本的终极方案。现在新的存储软件基本都是基于对象存储原生设计的,但是对象存储并不是说用上就自然解决一切问题。对象存储也有一些自己的局限性,比如说它的 latency 比较难预期,单个文件的吞吐有限,这就要求在 IO 的调度上要做的特别精细,这也是 Databend 云原生数仓引擎所擅长的。

Databend 云原生数仓可以让你轻松地分析对象存储上的 PB 级海量数据。PB 级的数据如果都放在对象存储上,成本一定会大幅下降的,相比放在 SSD 或者 HDD,可能会降到原先 5% 或者 10% 的水平。同时,Databend 还会对你的数据做大规模的压缩,这样你的存储成本会进一步大幅下降。

此外,Databend 完全云原生的设计让你的计算也是弹性的,这意味着当你的计算资源不活跃的时候,计算资源是可以回收的。比如在分析场景中,有时候你一天只跑一次报表,那你不跑报表的时候回收计算资源,成本在计算和存储层面都会大大下降。

Databend 架构

Databend 在架构设计上的原则,一是要简单实用,要做到开箱即用,在部署的时候基本上等于一键部署。这也得益于它云原生的完全无状态设计,对象都在对象存储里,所以部署和管理都会特别容易。我们还提供了丰富的查询语句支持。有一些客户可能一个 SQL 有三四百行、五六百行,Databend 中丰富的函数让这些客户的复杂查询得到很好的支持。

从上图可以看出,云原生数仓和传统数仓最大的一个区别,是传统数仓会使用本地盘,然后把磁盘 shard。当你的数据增长后,你再做一些 reshard,这样可能涉及一些昂贵的数据搬运。ClickHouse 算是一个传统数仓的典型,大家用了这么多年,对它的运维依然感觉很痛。而 Databend 在运维上就没有这方面的痛点,下面的存储都在对象存储上,如果计算压力变大,只要加计算节点就可以了。对象存储的存储容量接近于无限,所以不需要担心 scale 的问题。另外,Databend 除了自己的表查询引擎之外,还有丰富的数据湖格式支持,并支持丰富的对象存储。AWS、 Azure 和 GCP 的对象存储其实有点不一样,所以 Databend 内部孵化了一个项目叫做 OpenDAL,已经纳入到 Aparche 基金会维护。它能适配所有云厂商的对象存储,比如我们今天分享里提到的青云的 QingStor。

大数据生态在过去十来年的发展中有很多痛,其中一个痛点是比较持续的,就是你的数据在持续增长,这必然带来数据管理成本以及管理复杂度的上升。大数据有一个笑话,整个大数据就像一个动物园,如果想把它搞起来,需要 Spark、HDFS、Yarn 等等 120 个组件,需要操心的事特别多。但是在 Databend 架构中,只需要一个 Databend 和对象存储就可以了。我们也做了很多投入在大数据生态的适配中,比如来自上下游的各种 ETL 工具,上游的 PG 和 MySQL,数据同步的组件,下游的 Grafana、Metabase 等数据可视化的支持等。

以上的 logo 是 Databend 落地的一些客户案例。

自从 Databend 发布后,它的低成本、存算分离等特性已经吸引了很多客户前来试用。我们发现有一些客户的场景是在传统数仓的认知之外的一些场景,但是用了 Databend 之后也得到了很好的落地。目前 Databend 有几个比较大的应用场景:

一个是 OLAP 实时分析。比如说有上游的数据,实时 Ingest 进 Kafka,然后通过 Databend 可以做出来实时分析的报表,而不会像 Hive 或者 Spark 那样需要一个相对缓慢的 ETL 流程。

另外一个是海量日志存储。因为日志一不小心就会产生大量的成本,而对象存储配合上 Databend 优秀的查询引擎,也成为一个优秀的日志解决方案。我们有很多客户跑着 MySQL ,他们会把历史数据归档到 Databend 中,然后再做一个联合的查询,这样能使线上数据库的压力大大减少,同时历史数据又能比较简单地进行查询与分析。

Databend 今年也不能免俗地有一些 AI 的原生支持。你可以把你的知识库存储在 Databend 中, Databend 可以结合 embedding 去查询,然后帮助你实现一个 RAG 解决方案,这个 AskBend 是我们的一个 RAG 解决方案,可以对 Databend 文档进行提问,它可以给你一些基于 Databend 文档的回答,是挺好玩的一个应用。

Databend 的部署

下面来简单介绍一下 Databend 是如何做部署的。Databend 是一个完全云原生的软件,而云原生的一个典型特征就是无状态,所以你部署起来会特别容易。它的状态都在对象存储里,还有一小部分是在 Databend 的元信息中。

所以在部署 Databend 的时候,你只需要关注三个组件: 一个组件就是对象存储。这个对象存储一般是各个云厂商各自的对象存储服务,比如青云有 QingStor,阿里云有 OSS, AWS 有 S3。也有一些客户是直接在 K8s 里跑 MiniIO,这是一些私有部署的场景;

另一个组件是 Metasrv。Meta 是一个相对比较小的 Raft 集群,通常有 3 个或 5 个节点,通过 open Raft 框架实现强预制的高可靠集群,它会来用来存储 Databend 的一些元信息,对象存储的入口会展示在这个 Meta 里;

最后一个组件是 Query。 Query 部署起来是最容易的,它是完全无状态的,只要连上 Meta 和对象存储,就可以拿来查东西。

使用 Databend 最便捷的方法是 Databend Cloud,我们提供云上的 SaaS 服务。但如果你想做私有部署,我们也提供 Databend 企业版和开源版,上图是 Databend 私有部署的架构,你可以使用 K8s,也可以用 bare metal 的虚拟机。其实就是刚才介绍的这几个节点,先把 Meta 部署起来,再把对象存储准备好,然后把 Query 启动起来就可以了。此外,还可以根据你的需求,把 Query 节点分成不同组。比如说 A 部门用这几个 Query,B 部门用那几个 Query。它们都是完全隔离的,不会相互影响,不同部门也可以根据自己的需求单独 scale 计算资源。

除了 Databend Cloud 和私有部署,Databend 还允许使用混合云的部署方式,把你的数据存储在自己的对象存储里,通过 Databend Cloud 的可弹性算力去计算。之前有客户和我们提过一个反馈,他是在 K8s 里跑分析的 workload,但是公司的计算资源限额比较少,所以他就想高峰期或者在跑报表的时候,把 OS bucket mount 到 Databend Cloud 上,利用 Databend Cloud 弹性算例帮助分析,分析完就可以全部释放掉,不会造成任何其他的额外的成本。这就是一种典型的混合云的部署方式。

使用 KubeSphere Cloud 部署 Databend

接下来具体介绍一下怎么使用 KubeSphere Cloud 来部署 Databend。 我们为什么要选择 KubeSphere?KubeSphere 有一个易用的管理 UI,使用 Helm Chart 就可以很简单地一键部署到 KubeSphere 中。应用的管理和部署的过程,以及后续的运维、监控、日志,都可以通过 KubeSphere 作为入口去管理,具有很好的使用体验。

使用 Kubernetes 来管理 Databend 是我们最推荐的部署方式,因为 Kubernetes 有很强大的 coordination 能力,能帮助我们做到自动恢复、水平扩展、负载均衡等等。部署在 Kubernetes 里,你的程序、进程 crash 了也不用特别担心,它都能自动重新拉起来。在 Kubernetes 里,你的 Prometheus、 Grafana 和 MiniIO 都可以在一个生态里面共同运作。总结来说,用 Kubernetes 来部署 Databend 是首选,而 KubeSphere 又是 Kubernetes 的最佳搭档。

部署的第一步是先登录青云用户后台,创建一个 QingStor 的 bucket。如果你用阿里云、腾讯云、AWS、GCP,有其他的对象存储,或者自己私部的 MiniIO 也都是类似的。需要额外注意的就是拿到它的 Endpoint 地址以及它的访问的 ak、sk,你需要把这部分信息先记下来,后面在部署的时候会用到。然后我们可以在 KubeSphere Cloud 上创建一个 KubeSphere 集群。使用默认配置创建免费版集群即可尝鲜体验,个人用户每月有 10 小时免费额度。创建之后访问它的控制台,可以看到 KubeSphere 的管理员界面。

点击平台管理,我们可以下载它的 kubeconfig 文件,保存为 ~/.kube/kubesphere。这里需要做一个小修改,它前台有一个 API Server 的地址,你要把这个地址记下来,替换其中的 Server 地址为前台显示的地址。

开始先部署 Meta 节点。因为是演示试用,我们先部署了一个 Meta 实例。在生产环境中的话,一般建议最少要配 3 个实例。实例一定是奇数,不要配偶数,这是 Raft 共识协议的要求。基本上把这个命令往上一贴一运行,就能够稳定地把它部署上来。

在 Meta 节点就绪之后,开始部署 Query 节点。前面我们已经得到了对象存储的地址,图中红色的部分其实就是刚才对象存储的 ak、sk 以及 Endpoint 地址。然后填上刚才那个 Meta 的地址。

打开 shell,执行上述命令,Query 就准备出来一个 values.yaml。然后 install,Query 就能正常运行了。执行 get svc 命令就可以看到 data query 已经启动了。

回到 KubeSphere 前台,这里还可以做网络映射。点网络新建,可以把 Databend 的 8000 端口暴露出来,得到一个地址。这个地址可以用来访问 KubeSphere Cloud 里的 Databend 实例。

接下来如何连接 Databend 呢?Bendsql 是 Databend 一个十分方便的命令行界面客户端工具。下载安装之后,我们可以把刚才的 host 贴过来,输入 user、password 连接 Databend 集群。

整个部署的过程其实非常简单,跑两个命令,先把 meta 部署上去,然后再把 Query 也部署上去。部署完后,你就可以在 K8s 里面,根据你的需求去 Scale up ,Scale down,不用的时候就把它变成 0 回收掉。用的时候再把它 Scale 出来,随自己的需要来控制就好。

部署完后,你可以在 KubeSphere 界面去查看 Databend query 的 statefulset。Databend query 虽然是无状态的,但是 stable set 可以给每个 Pod 一个编号。我们在查 SQL 的时候,可以找一个固定的 query 节点去发SQL。你可以看到它的监控状态。当 CPU 或者内存不够时,可以有针对性地去调整它的规格,这样平时的运维就会简单一些。

关于 Databend

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

Databend Cloud:https://databend.cn

Databend 文档:Databend

Wechat:Databend

GitHub:GitHub - datafuselabs/databend: 𝗗𝗮𝘁𝗮, 𝗔𝗻𝗮𝗹𝘆𝘁𝗶𝗰𝘀 & 𝗔𝗜. Modern alternative to Snowflake. Cost-effective and simple for massive-scale analytics. https://databend.com

企业数字化转型AI大模型赋能智能体平台及AI场景应用规划方案(生态合作版).pptx 立即下载

相关推荐

微信小程序审核避坑指南:巧用 wx.getAccountInfoSync 实现审核与线上环境无感切换

本文详细介绍了如何利用`wx.getAccountInfoSync`API实现微信小程序审核与线上环境的无感切换。通过环境识别技术和动态渲染架构设计,开发者可以优雅解决审核资质门槛问题,同时保持生产环境的完整用户体验。文章包含组件化实现、全局状态管理等实用方案,帮助开发者提升审核通过率。

weixin_30527423的博客 260

在 KubeSphere 中开启新一代云原生数仓 Databend

作者:尚卓燃(https://github.com/PsiACE),Databend 研发工程师,Apache OpenDAL (Incubating) PPMC。 前言 Databend 是一款完全面向云对象存储的新一代云原生数据仓库,专为弹性和高效设计,为您的大规模分析需求保驾护航。Databend 同时是一款符合 Apache-2.0 协议的开源软件,除了访问云服务(https://app.databend.com/)之外,用户还可以自己部署 Databend 生产集群以满足工作负载需要。 Da

KubeSphere 682

R语言分布式滞后非线性模型DLNM实战:空气污染与健康数据的动态效应可视化与政策启示

本文详细介绍了R语言中分布式滞后非线性模型(DLNM)的应用,特别关注空气污染与健康数据的动态效应可视化。通过dlnm包实现PM2.5等污染物的滞后效应分析,提供从数据预处理、模型构建到结果可视化的完整流程,并探讨了其在公共卫生政策制定中的实际应用价值。

weixin_29079643的博客 515

KubeSphere 社区双周报 | OpenFunction v1.0.0 发布 | 2023.03.03-03.16

KubeSphere 社区双周报主要整理展示新增的贡献者名单和证书、新增的讲师证书以及两周内提交过 commit 的贡献者,并对近期重要的 PR 进行解析,同时还包含了线上/线下活动和布道推广等一系列社区动态。本次双周报涵盖时间为:2023.03.03-2023.03.16。

KubeSphere 362

ROS2仿真抓取分拣案例,使用myCobot 280机械臂结合ROS2系统搭建机械分拣站

本案例展示了如何利用myCobot 280 urdf模型构建一个对象分类站,并在ROS2 jazzy中完成运动规划。

m0_71627844的博客 2128

MaxEnt软件的下载与安装

1、下载网站:http://lucky-boy.ys168.com/ (这是之前在网上搜到的,里面有许多软件安装包,感谢网页主的资源共享,违权必删)

weixin_42191203的博客 2万+

云原生运维学习笔记:Docker 数据卷、网络管理与镜像自定义深度实践

本文深入探讨Docker数据持久化、网络管理与镜像自定义三大核心运维技术。通过数据卷(Volume)实现容器数据持久化,支持匿名卷、命名卷及宿主机目录绑定;利用--volumes-from构建数据卷容器,实现多容器间数据共享。在网络层面,掌握端口映射(-p/-P)、自定义网络及容器通信机制。最后,基于Dockerfile实现应用镜像的定制化构建,为Kubernetes等云原生平台部署奠定基础。内容涵盖实践操作与原理剖析,是进阶容器运维的关键一环。

2604_96593683的博客 462

斑马算法优化变分模态分解ZOA-VMD数字信号去噪(优化K值 alpha值)【含Matlab源码 4887期】

斑马算法优化变分模态分解ZOA-VMD数字信号去噪(优化K值 alpha值) 完整的代码,包运行;运行操作视频见优快云资源!适合小白!

订阅付费专栏Matlab(奶茶价版),可赠送奶茶价版付费专栏指定代码1份; 811

云原生运维实战:Docker 底层存储、Compose 编排与 Ceph 入门

Docker Compose 用来定义和运行一组关联容器,通过 YAML 描述服务、网络、存储。v1:Python 开发,已经停止维护;v2:Go 开发,集成进 docker CLI,命令。。services:定义容器服务;networks:容器网络;volumes:数据卷持久化;configs:配置文件。

Wzh5452830的博客 222

Java后端新人入职第一天,环境搭建,全看这篇就行了

本文主要是记录一下一个新人java后端开发来到一个新公司,如何快速完成环境搭建,本文意旨一个小时搞定所有环境搭建,让你更快加入到新环境。包括Java、Maven、Tomcat、idea、Redis、Mysql等等,还附带对应安装资源包,我这里就以目前比较流行的版本进行详细说明。

qi_ming88的博客 9281

AutoSAR配置与实践(实践篇)11.1 如何通过IPDU分组控制报文收发

注意这个新增的action其实是一个用户回调函数,在函数中进行配置字的判断,即可完成用户条件的判断(TRUE/FALSE),注意用户条件是用户封装的函数,用于输入给后续的逻辑判断和rule。进行PDU的拆分后,根据配置字可以选择PDU是否使能了。PDU组拆分后可分为常规PDU组和可配PDU组(新增),诊断一方面按原有逻辑控制常规PDU组,另一方面控制新的可配PDU组。举例说明,诊断场景:使能,配置字满足,则用户条件为TURE,表示期望使能可配PDU组(诊断禁止服务场景类似方式,在此不再列举)。

nihaoljq2010的博客 836

云原生项目三:Docker秒级启动NextCloud个人网盘存储办公系统

首先讲解一下我的环境,我没有新建虚拟机,做上一个项目的时候在ping通外网后我给拍摄快照了,所以我就直接恢复快照了,小朋友不要和我学习哦,尽量新建虚拟机or克隆一个node出来,保证环境的干净,不然端口容易冲突,配置文件也是容易改错,最后导致实验失败。这次依旧是openeuler 22.03的镜像,处理器1个2核的,4GB的内存,20GB的存储打开虚拟机后先检查是否ping通外网,然后依旧关闭selinux,firewalld,然后就可以开始接下来的操作了。

zfm242397396的博客 242

【Python搞定车载自动化测试】——Python实现车载以太网DoIP刷写(含Python源码)

随着智能电动汽车行业的发展,汽车=智能终端+四个轮子,而人工智能也发展越来越快,Python语言使用越来越广,本章节主要介绍如何使用Python语言基于Pytest自动化框架来实现DoIP诊断自动化测试。首先回顾一下DoIP诊断基础知识:DoIP(Diagnosis over Internet Protocol)是一种用于车辆诊断的网络通信协议。它基于现代互联网技术,允许通过以太网或IP网络进行车辆诊断和通信。

测试领域技术分享 3798

云原生运维学习笔记:Docker 存储驱动原理、Compose 编排与图形化管理实战

本文深入解析Docker存储驱动原理,重点剖析overlay2的分层机制与底层目录结构。通过构建含sshd服务的镜像,实操验证了写时复制(COW)特性及各层依赖关系。结合docker info与container ps -s命令,直观展示容器可写层极小占用。进一步通过清空数据后导入镜像,揭示diff、lower、merged等核心文件的作用,揭示多层叠加与联合挂载机制。最终实现从单容器到多容器编排的运维升级,为后续使用Docker Compose与图形化管理奠定基础。

2604_96593683的博客 475

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

云原生运维学习笔记:Docker 镜像定制、仓库管理与企业级底层技术剖析

本文系统梳理Docker镜像定制、仓库管理与底层技术。通过Dockerfile实现白盒化镜像构建,掌握RUN、CMD、ENTRYPOINT等核心指令及格式差异;基于私有仓库(Registry/Harbor)实现安全分发;深入剖析Namespace与Cgroups在资源隔离与限制中的作用,为生产环境排障与优化提供底层支撑。

2604_96593683的博客 415

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

一次完整的云原生迁移:容器化、Kubernetes 与 CI/CD

本文记录一次完整的云原生迁移实践,涵盖容器化、K8s部署与CI/CD流水线搭建。强调迁移前提:服务边界清晰、无状态、可回滚。分三阶段推进:容器化确保镜像一致性;上K8s实现服务发现与弹性伸缩;构建GitOps流水线支持一键发布与回滚。架构采用Ingress+API网关+Service+持久层,决策选用Kustomize管理配置,暂不引入服务网格。可观测性依托Loki、Prometheus与Jaeger三板斧。总结关键踩坑:镜像拉取策略误用、资源限制缺失、健康检查配置不当,并给出针对性解决方案,强调“先夯实基

软件工程师文艺 1159

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

【云原生】Ubuntu部署 Kubernetes1.33

本文详细介绍了在Ubuntu 24系统上部署Kubernetes 1.33集群的全过程,涵盖三台主机(master、node1、node2)的基础环境配置,包括主机名设置、hosts绑定、关闭swap、开启IPv4转发及时间同步。重点完成Containerd安装与配置,包括卸载Docker残留、生成配置文件、启用systemd cgroup、添加国内镜像源及修改pause镜像地址。最后通过nerdctl验证容器运行时,为后续kubeadm初始化集群奠定基础。

weixin_73059729的博客 791

单体架构到云原生的数据报表系统重构踩过的坑

在当今的互联网行业中,数据统计与BI系统已经成为企业运营中不可或缺的一部分。而作为一个开发者,在不同阶段的架构演进过程中,我也亲历并经历了多个关键的技术转折点。从最初基于单体架构的报表系统,到微服务化改造,再到如今转向云原生的部署方式,每一次的重构都伴随着无数个技术细节和决策判断。本文将以数据报表系统的实际开发经历为背景,分享我在架构演进过程中踩过的坑及教训,供准备跳槽或面试的开发者参考。

qq_41106321的博客 208

〖物流云原生实战 01〗K8s Operator 在物流定时任务中的实践:从“裸 CronJob”到“声明式任务编排”

在物流系统中,裸用K8s CronJob执行定时任务面临依赖缺失、重试无序、状态不可观等困境。通过引入Operator模式,以CRD定义任务业务属性,控制器实现调和循环与状态机管理,可精准处理依赖、分类错误重试,并实时暴露任务进度与指标。该方案将定时任务从“盲跑”变为“有状态、可依赖、可观测”的业务单元,真正实现“跑得对、看得见、管得住”。

Eyf • 半字节的博客 454

云原生运维学习笔记:ECShop全链路容器化部署与Docker底层资源隔离深度剖析

本文基于Docker与Harbor私有仓库,实现ECShop电商平台(LNMP架构)全链路容器化部署。通过自定义PHP镜像、创建隔离网络、挂载宿主机配置与数据,解决镜像源失效、端口冲突等实战问题。同时深入Linux Namespace与Cgroups,剖析Docker资源隔离底层机制,掌握云原生环境下应用部署与系统原理的双重能力。

2604_96593683的博客 626

〖物流云原生实战 02〗Serverless 在物流峰值场景的弹性调度:如何用“无服务器”抗住大促洪峰?

物流大促期间流量呈“潮汐式”波动,传统K8s HPA扩容滞后,难以应对瞬时峰值。借助Serverless架构,通过KEDA基于Kafka积压量触发毫秒级弹性伸缩,结合GraalVM原生镜像实现0.05秒启动,可高效处理打单队列、月末对账等异步与低频任务。配合连接池代理与状态外置,规避无状态带来的数据库压力。实践表明:Serverless适配突发、非核心场景,而非替代所有微服务,是降本增效的利器。

Eyf • 半字节的博客 283

云原生运维学习笔记:Ceph 分布式存储架构深度解析与生产级部署实战

本文深度解析Ceph分布式存储架构,涵盖其统一存储、去中心化设计与CRUSH算法核心优势。基于Cephadm实现三节点生产级部署,详述环境准备、时间同步、容器镜像预拉取及集群引导流程,重点演示MON、OSD、MGR等组件编排,并覆盖扩容、下线等高频运维场景,为云原生环境下高可用存储落地提供实战指南。

2604_96593683的博客 416

云原生安全新范式:从“边界防护”到“身份成为新边界”

云原生并没有让安全变得不重要,而是让安全的判断依据发生了根本变化。当网络位置不再稳定、不再可信时,身份成为唯一贯穿请求全过程的稳定信号。把身份作为新边界,意味着以最小权限为前提、以持续验证为手段、以可观测为保障,构建一套随工作负载流动而始终有效的安全体系。这既是技术架构的演进,也是安全治理思路的升级。

2301_78078966的博客 202

云原生安全:容器、密钥与软件供应链治理

容器镜像通过扫描,不代表工作负载已经安全;Secret 使用 Base64 编码,也不代表数据已加密;镜像带有签名,更不代表集群一定会拒绝未经授权的制品。云原生安全需要从构建、存储、部署到运行时建立连续的控制,并明确每道控制能解决什么、不能解决什么。

m0_62221377的博客 219

云原生可观测性架构设计及其应用

第一,尾部采样的一致性路由在Gateway扩缩容或节点故障时仍可能出现Span分散,导致部分Trace的采样决策基于不完整上下文,遗漏边缘错误链路。第二,高基数治理目前以“禁止进入指标标签”的负向约束为主,缺乏正向的基数预算机制,新服务上线时标签设计的随意性仍可能逐步推高序列基数。:以DaemonSet形式部署,初始CPU request控制在50m量级,日志采集路径避免对全集群Pod的重复list/watch,仅处理本节点流,将采集侧的资源消耗限制在可预算的范围内。是成本与排障能力之间的核心权衡。

jcgu的专栏 295
上一篇: Databend 开源周报第 146 期
下一篇: Databend 开源周报第 147 期
Databend
博客等级 码龄5年 1458粉丝 363原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值