Databend 开源周报第 114 期

Kubernetes容器编排与云原生部署实战 本文系统阐述云原生与Kubernetes的核心理念,从物理机到云原生的四次演进出发,解析容器化、不可变基础设施、声明式编排与可观测性的技术支柱。深入剖析Kubernetes的控制循环、核心组件架构及工作节点协同机制,结合真实场景提供部署、发布与排障实战指南,助力读者实现应用的可复现、可回滚与高可用管理。 阅读详情

Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn 。

What's On In Databend

探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。

MERGE INTO

MERGE INTO 语句用于根据指定的条件和匹配标准,在目标表中执行对行的插入、更新或删除操作,使用来自指定源的数据。

MERGE INTO 中通常会包含若干 MATCHED 或 NOT MATCHED 子句:对于 MATCHED 子句,可以对目标表进行更新或者删除,而如果是 NOT MATCHED 子句,则可以插入数据。

-- Merge data into 'salaries' based on employee details from 'employees'
MERGE INTO salaries
USING (SELECT * FROM employees)
ON salaries.employee_id = employees.employee_id
WHEN MATCHED AND employees.department = 'HR' THEN
    UPDATE SET
        salaries.salary = salaries.salary + 1000.00
WHEN MATCHED THEN
    UPDATE SET
        salaries.salary = salaries.salary + 500.00
WHEN NOT MATCHED THEN
    INSERT (employee_id, salary)
    VALUES (employees.employee_id, 55000.00);

MERGE INTO 语句目前属于实验阶段,可以执行 SET enable_experimental_merge_into = 1; 启用这个特性。

如果您想了解更多信息,请查看下面列出的资源。

Code Corner

一起来探索 Databend 和周边生态中的代码片段或项目。

Python Binding 和 Local 模式支持配置数据路径

Databend 的 Local 模式现已支持通过 DATABEND_DATA_PATH 环境变量来控制元数据和数据文件的存放位置。

DATABEND_DATA_PATH=/tmp/data/ databend-query local -q "create table abc(a int); insert into abc values(3);"

Databend 的 Python Binding 同样遵循 DATABEND_DATA_PATH,但是需要在使用 databend 之前进行定义这一环境变量。

import os
os.environ["DATABEND_DATA_PATH"] = "/tmp/def/"

from databend import SessionContext

如果您想了解更多信息,请查看下面列出的资源。

Highlights

以下是一些值得注意的事件,也许您可以找到感兴趣的内容。

  • 改进 Hash Join ,性能在部分场景下提升 10% 。
  • 改进 MERGE INTO 的并行执行。
  • 改进 CI,使用 quickinstall 安装相关二进制工具,使用 nextest 执行单元测试。

What's Up Next

我们始终对前沿技术和创新理念持开放态度,欢迎您加入社区,为 Databend 注入活力。

删除 Internal Stage 时同时移除文件

Internal Stage 将数据文件暂存在 Databend Query 配置中指定的存储后端中。

考虑到在删除 Internal Stage 之后,用户将无法访问其中暂存的数据文件。因此,有必要考虑在删除 Internal Stage 同时移除其中暂存的文件。

Issue #12986 | remove files at the same time of drop internal stage

如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review 。或者,你可以点击 https://link.databend.rs/i-m-feeling-lucky 来挑选一个随机问题,祝好运!

Changelog

前往查看 Databend 每日构建的变更日志,以了解开发的最新动态。

地址:https://github.com/datafuselabs/databend/releases

Contributors

非常感谢贡献者们在本周的卓越工作。

Connect With Us

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

from pointnet2_ops import pointnet2_utils 安装过程 pointnet2_ops 阅读详情

相关推荐

AlertManager的使用(邮件和微信告警)

一、AlertManager概述 Prometheus 包含一个报警模块,就是我们的 AlertManager,Alertmanager 主要用于接收 Prometheus 发送的告警信息,它支持丰富的告警通知渠道,而且很容易做到告警信息进行去重,降噪,分组等,是一款前卫的告警通知系统。 Alertmanager是一个独立的告警模块,接收Prometheus等客户端发来的警报,之后通过分组、删除重复等处理,并将它们通过路由发送给正确的接收器;告警方式可以按照不同的规则发送给不同的模块负责人,Alertman

weixin_45880055的博客 2万+

云原生运维实战:Docker 底层存储、Compose 编排与 Ceph 入门

Docker Compose 用来定义和运行一组关联容器,通过 YAML 描述服务、网络、存储。v1:Python 开发,已经停止维护;v2:Go 开发,集成进 docker CLI,命令。。services:定义容器服务;networks:容器网络;volumes:数据卷持久化;configs:配置文件。

Wzh5452830的博客 222

ubuntu20.04安装UE4+Airsim环境

版本UE4.27+Airsim1.81

玖茸的博客 3380

云原生项目三:Docker秒级启动NextCloud个人网盘存储办公系统

首先讲解一下我的环境,我没有新建虚拟机,做上一个项目的时候在ping通外网后我给拍摄快照了,所以我就直接恢复快照了,小朋友不要和我学习哦,尽量新建虚拟机or克隆一个node出来,保证环境的干净,不然端口容易冲突,配置文件也是容易改错,最后导致实验失败。这次依旧是openeuler 22.03的镜像,处理器1个2核的,4GB的内存,20GB的存储打开虚拟机后先检查是否ping通外网,然后依旧关闭selinux,firewalld,然后就可以开始接下来的操作了。

zfm242397396的博客 243

Python地理空间数据库之geopandas使用详解

地理空间数据分析在许多领域中都有着广泛的应用,包括地理信息系统(GIS)、城市规划、环境科学、地质勘探等。Python GeoPandas是一个强大的库,旨在简化地理空间数据的处理和分析。本文将深入介绍GeoPandas库,包括其基本概念、功能特性、示例代码以及在实际应用中的应用场景。

Rocky006的博客 1万+

前端零代码丨UIOTOS + NodeRed:无代码搭建工控上位机的绝配组合!

用户类型价值硬件产品商软硬一体方案,无代码GUI上位机成新卖点软件服务商售前原型演示利器,交付成本降低至1/3平台开发商融合无代码技术,同质化竞争中脱颖而出🚀 总结UIOTOS的前端零代码设计(页面嵌套、属性继承、节点连线)与NodeRed的后端流程自动化,堪称工控与IoT开发的黄金组合。无论是串口通信、SCADA监控还是业务管理,均能实现“无代码交付”,真正让前端不求人,硬件交互触手可及!探索更多案例:UIOTOS官网在线体验。

2502_91192798的博客 758

云原生运维学习笔记:Docker 存储驱动原理、Compose 编排与图形化管理实战

本文深入解析Docker存储驱动原理,重点剖析overlay2的分层机制与底层目录结构。通过构建含sshd服务的镜像,实操验证了写时复制(COW)特性及各层依赖关系。结合docker info与container ps -s命令,直观展示容器可写层极小占用。进一步通过清空数据后导入镜像,揭示diff、lower、merged等核心文件的作用,揭示多层叠加与联合挂载机制。最终实现从单容器到多容器编排的运维升级,为后续使用Docker Compose与图形化管理奠定基础。

2604_96593683的博客 476

【C# + HALCON 机器视觉】HALCON经典算子:光流法运动分析(optical_flow_mg)

摘要:本文面向智能监控人流统计需求,研究C#与HALCON集成开发中optical_flow_mg算子的应用。通过RTSP获取视频流,利用光流法计算运动矢量,结合形态学操作与区域筛选实现行人区域分割,最终完成人流量统计与热力图可视化。详细阐述ROI局部处理等性能优化策略、try-catch异常捕获机制及跨平台集成方案。实验表明,该系统检测准确率达93.6%,单帧处理时间42ms,为公共场所人流量统计提供了完整可行的技术方案。

专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域,希望和大家共同进步! 1445

云原生运维学习笔记:Docker 镜像定制、仓库管理与企业级底层技术剖析

本文系统梳理Docker镜像定制、仓库管理与底层技术。通过Dockerfile实现白盒化镜像构建,掌握RUN、CMD、ENTRYPOINT等核心指令及格式差异;基于私有仓库(Registry/Harbor)实现安全分发;深入剖析Namespace与Cgroups在资源隔离与限制中的作用,为生产环境排障与优化提供底层支撑。

2604_96593683的博客 415

华为OD机试 新系统 双机位C卷 往年真题 机考题库(持续收录中)以及算法考点详解(Python/JS/C/C++)

刷的越多,抽中的概率越大,每一题都有详细的答题思路、详细的代码注释发现新题目,随时更新。

学Java,找哪吒 5万+

Oracle EBS R12.2.X JSP部署、编译和配置相关操作。

系统环境 RDBMS : 12.1.0.2.0 Oracle Applications : 12.2.6 背景 在某项目上,需要开发JSP相关程序,比如单点登陆、打印二维条码。当前把JSP部署编译以后,访问提示错误:Requested resource or page is not allowed in this site, 通过查SR发现Oracle EBS R12.2.X版本对客制化JSP进行权限控限,需要设置某些配置文件。 实例操作步骤 上传JSP文件 通常上传到$OA_HTML目录或其子目

陈显平的专栏-Oracle EBS 1913

〖物流云原生实战 03〗K8s 自定义调度器与物流资源亲和性:让 Pod 找到最懂它的那台机器

本文直击K8s原生调度器对物流底层物理资源“盲区”的痛点。针对快递系统中蓝牙网关直通、高频IOPS存储及跨境数据合规等特殊诉求,提出基于Scheduler Framework开发自定义插件。通过编写Filter过滤插件解决硬件设备分配上限,设计Score打分插件实现跨境地域合规校验与跨机架拓扑打散。文章强调采用“多调度器并存”模式,避免替换默认调度器引发灾难。结合降级策略与高可用部署,让Pod真正读懂业务逻辑,实现云原生架构向物流深水区的精细化管理与资源极致利用。

Eyf • 半字节的博客 272

15、z/OS 优化配置与迁移实践

本文详细探讨了z/OS环境的优化配置与迁移实践,涵盖DASD存储库管理、用户目录更新、环境更新意义以及不同场景下的迁移案例。通过单笔记本系统和服务器级机器的实例,展示了迁移流程和关键要点,包括DASD文件创建、设备映射更新、系统重启初始化以及数据备份等步骤。文章还总结了迁移过程中的注意事项,并展望了未来z/OS优化的发展趋势,为z/OS系统的稳定运行和高效管理提供了实用指导。

zzz56的博客 133

云原生运维学习笔记:从操作系统底层到 Kubernetes 集群的深度实践

本文系统梳理从Ubuntu 24.04底层调优到Kubernetes高可用集群部署的全流程,涵盖内核参数配置、Netplan网络设置、containerd运行时优化及kubeadm自动化部署。重点解析K8s核心架构、CRI兼容性、镜像加速与常见排障技巧,强调生产环境标准化与安全性,适合作为云原生运维实战手册。

2604_96593683的博客 356

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

【云原生】Ubuntu部署 Kubernetes1.33

本文详细介绍了在Ubuntu 24系统上部署Kubernetes 1.33集群的全过程,涵盖三台主机(master、node1、node2)的基础环境配置,包括主机名设置、hosts绑定、关闭swap、开启IPv4转发及时间同步。重点完成Containerd安装与配置,包括卸载Docker残留、生成配置文件、启用systemd cgroup、添加国内镜像源及修改pause镜像地址。最后通过nerdctl验证容器运行时,为后续kubeadm初始化集群奠定基础。

weixin_73059729的博客 791

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

单体架构到云原生的数据报表系统重构踩过的坑

在当今的互联网行业中,数据统计与BI系统已经成为企业运营中不可或缺的一部分。而作为一个开发者,在不同阶段的架构演进过程中,我也亲历并经历了多个关键的技术转折点。从最初基于单体架构的报表系统,到微服务化改造,再到如今转向云原生的部署方式,每一次的重构都伴随着无数个技术细节和决策判断。本文将以数据报表系统的实际开发经历为背景,分享我在架构演进过程中踩过的坑及教训,供准备跳槽或面试的开发者参考。

qq_41106321的博客 208

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

〖物流云原生实战 01〗K8s Operator 在物流定时任务中的实践:从“裸 CronJob”到“声明式任务编排”

在物流系统中,裸用K8s CronJob执行定时任务面临依赖缺失、重试无序、状态不可观等困境。通过引入Operator模式,以CRD定义任务业务属性,控制器实现调和循环与状态机管理,可精准处理依赖、分类错误重试,并实时暴露任务进度与指标。该方案将定时任务从“盲跑”变为“有状态、可依赖、可观测”的业务单元,真正实现“跑得对、看得见、管得住”。

Eyf • 半字节的博客 456

云原生运维学习笔记:ECShop全链路容器化部署与Docker底层资源隔离深度剖析

本文基于Docker与Harbor私有仓库,实现ECShop电商平台(LNMP架构)全链路容器化部署。通过自定义PHP镜像、创建隔离网络、挂载宿主机配置与数据,解决镜像源失效、端口冲突等实战问题。同时深入Linux Namespace与Cgroups,剖析Docker资源隔离底层机制,掌握云原生环境下应用部署与系统原理的双重能力。

2604_96593683的博客 629

〖物流云原生实战 02〗Serverless 在物流峰值场景的弹性调度:如何用“无服务器”抗住大促洪峰?

物流大促期间流量呈“潮汐式”波动,传统K8s HPA扩容滞后,难以应对瞬时峰值。借助Serverless架构,通过KEDA基于Kafka积压量触发毫秒级弹性伸缩,结合GraalVM原生镜像实现0.05秒启动,可高效处理打单队列、月末对账等异步与低频任务。配合连接池代理与状态外置,规避无状态带来的数据库压力。实践表明:Serverless适配突发、非核心场景,而非替代所有微服务,是降本增效的利器。

Eyf • 半字节的博客 284

云原生运维学习笔记:Ceph 分布式存储架构深度解析与生产级部署实战

本文深度解析Ceph分布式存储架构,涵盖其统一存储、去中心化设计与CRUSH算法核心优势。基于Cephadm实现三节点生产级部署,详述环境准备、时间同步、容器镜像预拉取及集群引导流程,重点演示MON、OSD、MGR等组件编排,并覆盖扩容、下线等高频运维场景,为云原生环境下高可用存储落地提供实战指南。

2604_96593683的博客 416

云原生安全新范式:从“边界防护”到“身份成为新边界”

云原生并没有让安全变得不重要,而是让安全的判断依据发生了根本变化。当网络位置不再稳定、不再可信时,身份成为唯一贯穿请求全过程的稳定信号。把身份作为新边界,意味着以最小权限为前提、以持续验证为手段、以可观测为保障,构建一套随工作负载流动而始终有效的安全体系。这既是技术架构的演进,也是安全治理思路的升级。

2301_78078966的博客 202

云原生安全:容器、密钥与软件供应链治理

容器镜像通过扫描,不代表工作负载已经安全;Secret 使用 Base64 编码,也不代表数据已加密;镜像带有签名,更不代表集群一定会拒绝未经授权的制品。云原生安全需要从构建、存储、部署到运行时建立连续的控制,并明确每道控制能解决什么、不能解决什么。

m0_62221377的博客 226

云原生基石:Kubernetes (K8s) 架构深度剖析

通过本文长达万余字的梳理与实战,我们不仅仅是完成了几个软件包的安装,更是亲手搭建了一座云原生时代的基石。我们理清了 K8s 与虚拟机、Docker 的本质区别;深入了 Master 与 Worker 节点的组件通信机制;跨过了内核参数调优与 Container Runtime 配置的重重深坑;最终利用 Calico 构建了强大的 BGP 路由网络。K8s 的学习曲线极其陡峭,但入门的门槛一旦跨过,你面前将是无限广阔的微服务与自动化世界。

2501_94351186的博客 144

Oracle RAC VIP 与 SCAN 深入解析:负载均衡是如何实现的?

在 Oracle RAC 环境中,客户端连接数据库时,通常不会直接使用某个节点的 Public IP,而是通过 SCAN 名称访问整个集群。节点一:rac01节点二:rac02数据库服务:mes.example.comSCAN 名称:rac-scan.example.com应用程序只需要配置 SCAN 名称,就可以连接到 RAC 集群中的数据库服务。客户端访问 SCAN 后,究竟连接到了哪个节点?SCAN Listener 和 Local Listener 分别承担什么工作?

LuciferLiu_DBA 459

177.Agent-LangGraph-MCP的构成说明

MCP架构通过MCP主机、客户端与服务器的协同,实现工具、资源与提示词的统一管理。MCP服务器提供Tools、Resources、Prompts能力,MCP客户端则负责发现、调用与读取,使Agent可按需获取上下文。其核心在于将工具从Agent中抽离,封装为可复用的服务,提升灵活性与可维护性,推动AI应用高效协作。

计算机王的博客 318

spring boot 4集成SQLLite,及其SQLLite的建库

spring boot 4集成SQLLite,及其SQLLite的建库

weixin_41463944的博客 256
上一篇: 使用 Databend Kafka Connect 构建实时数据同步
下一篇: Databend join reorder 策略
Databend
博客等级 码龄5年 1458粉丝 363原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值