KaiwuDB 数据库

分布式多模数据库

  • 博客(196)
  • 资源 (1)
  • 收藏
  • 关注

原创 《一文讲透》第6期:揭秘 KWDB 的多模核心技术

• 如果关系数据的过滤性高并且关系数据和时序数据关联的条件中使用的是时序的 tag 值,则会选择将关系的数据下推到时序引擎端进行计算,优化的计算方式可以是直接 hash 过滤 tag 数据,还可以是 look up tag 数据,以此来提高时序数据的检索效率,提前过滤掉时序的大部分数据,减少跨模传递的数据量。用户进行查询时,根据查询的库表进行自适应的查询模式鉴别,通过统一的查询优化器,针对时序和关系的数据做特定的查询优化,生成统一的逻辑计划,最终根据查询的数据模不同定制不同的物理查询计划和物理计划优化。

2025-04-10 13:54:51 536

原创 征文大赛 |「码」上数据库—— KWDB 2025 创作者计划启动

2025-04-01 20:35:20 70

原创 Spring Boot 与 MyBatis Plus 整合 KWDB 实现 JDBC 数据访问

本文详细介绍了如何在 IDEA 中使用 Maven 管理的 Spring Boot 项目整合 KaiwuDB 数据库,并结合 MyBatis Plus 实现 JDBC 数据访问的过程。以下是关键点和总结:• 技术选型和环境搭建:使用 OpenJDK 1.8、Apache Maven 3.6.3、Spring Boot 2.7.18 和 MyBatis Plus 3.5.5 版本;通过 IDEA 创建基于 Maven 的 Spring Boot 项目,并配置 Java 8 作为开发环境。

2025-03-21 21:25:52 856 1

原创 直播预告 | PaperRaeding:基于深度强化学习的查询优化框架 FOSS

✅本期直播我们将和大家一起研读发表于 ICDE 2024 的一篇文章:《FOSS: A Self-Learned Doctor for Query Optimizer》。👉 一起走近作者世界,认识基于深度强化学习的查询优化框架 FOSS,深度了解 FOSS 框架如何为查询优化提供了新途径。⭕数据库管理系统中,查询优化至关重要,但如何在庞大计划空间中寻找最优计划也是 NP 难问题。🚩3月18日下周二,KaiwuDB 视频号不见不散,扫码直通预约。

2025-03-12 19:18:42 144

原创 Paper Reading | AI & 数据库融合经典论文回顾

人工智能(AI)和数据库(DB)在过去的50年里得到了广泛的研究,随着数据库近年来的不断发展,数据库开始与人工智能结合,数据库和人工智能(AI)可以相互促进。一方面,AI 可以使数据库更加智能化(AI4DB)。例如,传统的数据库优化技术无法满足大规模数据库实例、各种应用程序和多样化用户的高性能要求,尤其是在云上。幸运的是,基于机器学习的技术可以缓解这个问题。另一方面,数据库技术可以优化AI模型(DB4AI)。例如,人工智能在实际应用中难以部署,因为它要求开发人员编写复杂的代码并训练复杂的模型。数据库技术可以

2025-03-07 16:04:52 423

原创 Paper Reading | 多模数据库经典论文回顾

关系型模型(Relational Model)基于数学上的关系概念,数据以元组的形式逻辑上表示为关系。每个关系记录都通过一个键唯一标识。关系型数据可以通过声明性方法定义和查询,目前主要由结构化查询语言(SQL)来实现。关系型数据库系统确保数据的存储和检索。关系型数据库的例子包括金融和银行系统、计算机化的医疗记录和在线购物。半结构化模型(Semi-structured Model)基于没有显式和独立模式定义的数据表示理念。数据以元素的形式表达,这些元素通过标签界定,可以包含简单文本、子元素或它们的组合。

2025-03-06 15:03:33 870

原创 KaiwuDB| Google Spanner 经典架构回顾

大数据时代 ,随着移动互联网和物联网技术的发展 , 全球数据量呈现爆发式增长,已经远远超出集中式单机数据库的处理能力。• 海量数据存储传统集中式数据库容量大多在百 GB 至 TB 级别,伴随着各行各业数据爆发式增长,数据库所需存储的数据容量也在急剧增长且数量呈现指数级增长,从 TB 级别增加到 PB 级别,未来很快就会增加至 EB 级别;• 海量并发访问数据库的业务访问量也发生了量到质的变化,传统的业务模式业务访问仅局限于企业内部 , 通常数百至数千并发即可满足。

2025-02-28 18:17:16 795

原创 《一文讲透》第4期:KWDB 数据库运维(7)—— 集群规划

KWDB 数据库可高效处理海量且连续的数据流,但对于运维人员来说,根据业务需求进行硬件规划是确保系统稳定、高效运行的基础。

2025-02-11 16:11:12 620

原创 《一文讲透》第4期:KWDB 数据库运维(6)—— 容灾与备份

KWDB 采用预写式日志(Write-Ahead Logging,WAL),记录每个时序表的模式变更和数据变更,以实现时序数据库的数据灾难恢复、时序数据的一致性和原子性。KWDB 默认会将保存在 WAL 日志缓存中的日志条目实时写入日志文件,每5分钟通过后台线程更新 WAL 文件和数据文件的 CHECKPOINT_LSN (检查点日志序列号),写入 CHECKPOINT WAL 日志,然后同步数据文件到磁盘。系统正常停机时,KWDB 会主动同步数据文件到磁盘并更新 CHECKPOINT_LSN。

2025-01-22 09:31:07 621

原创 benchANT 性能榜单技术解读 Part 2:查询优化

就在上月,国际权威数据库性能测试榜单 benchANT 更新了 Time Series: Devops(时序数据库)场景排名,KaiwuDB 数据库在 xsmall 和 small 两类规格下的时序数据写入吞吐、查询吞吐、查询延迟、成本效益等多项指标刷新榜单原有数据纪录。

2025-01-16 14:28:35 680

转载 @你,请查收:KaiwuDB 2024 年度总结

KaiwuDB 2024 年度报告》新鲜出炉啦!回望 2024,我们向“新”而行。感恩这一年,有你们的陪伴和支持。2025 年,我们携手再出发。

2025-01-09 14:40:50 54

原创 benchANT 性能榜单技术解读 Part 1:写入吞吐

近期,国际权威数据库性能测试榜单 benchANT 更新了 Time Series: Devops(时序数据库)场景排名,KaiwuDB 数据库在 xsmall 和 small 两类规格下的时序数据写入吞吐、查询吞吐、查询延迟、成本效益等多项指标刷新榜单原有数据纪录。在这些性能提升的背后,KaiwuDB 究竟都做了哪些技术创新?小 K 将逐一为你揭秘!今天,我们先来了解 KaiwuDB 写入吞吐背后的 3 大核心技术空间预分配在传统的数据存储模式中,锁机制在多线程并发写入时往往会引发频繁的锁竞争开销

2025-01-08 14:24:15 852

原创 benchANT (Time Series: Devops) 榜单数据解读

benchANT 的测试采用了 TSBS 的 DevOps 场景,该场景模拟服务器运行时的监控数据。每台设备会采集 cpu、diskio、disk、kernel、mem、net、nginx、postgresl 和 redis 等 9 类监控指标,每类指标下又包含多个测量值。

2024-12-11 09:35:26 1012

原创 西电—浪潮数据库创新实验室年度报告会顺利召开

与会专家周傲英、崔立真、马帅、王宏志和陈跃国等充分肯定了实验室及 KaiwuDB 工作成果及发展模式,并对数据库关键技术、架构创新、基准制订、开源社区建设、产学研合作等方面提出宝贵建议。他认为,人工智能的发展离不开数据,鼓励 KaiwuDB 保持并深化面向物联网场景的前瞻性思考,要立足长远,持续聚焦关键技术研发,适应新时代新情况,解决新时代新需求,面向未来4年,做好产品、技术规划,抓住机遇,为政府、行业、企业等数字化转型提供更优解。实验室主任崔江涛教授、副主任李辉教授、彭延国副教授及骨干教师参会。

2024-11-18 17:30:24 349

原创 KWDB 亮相 COSCon′24 第九届中国开源年会

KWDB 将以 “更开放” 的心态,联手更广大的用户群体参与到需求解决及功能设计中,不断提升产品的可用性和易用性。作为我国开源界最具影响力的年度盛会之一,本届开源年会以 “Open Source, Open Life” 为主题,由开源社携手广大中立垂直社区,组织生态共建企业及各领域开源开发者、贡献者进行跨项目、跨组织交流。接下来,KWDB 社区将持续打造更加丰富的课程体系、培训认证和阶梯化的社区激励制度,欢迎广大开发者、开源爱好者加入社区参与贡献,共同推动开源软件的创新应用与升级。(扫码直达 Gitee)

2024-11-18 17:28:29 178

原创 《一文讲透》第1期:KWDB 单点安装部署

Hi,各位开发者伙伴:为帮助大家少走弯路,轻松上手 KWDB(KaiwuDB 社区版) ,我们的《一文讲透》专栏正式营业啦!每一篇都会为大家分享超详细实用的数据库操作步骤与实战演练!KWDB 是一款面向 AIoT 场景的分布式多模数据库产品,支持在同一实例同时建立时序库和关系库并融合处理多模数据,具备千万级设备接入、百万级数据秒级写入、亿级数据秒级读取等时序数据高效处理能力。大家可以放心地使用 KWDB 来解决在物联网、能源电力、车联网、智慧政务等各类场景下遇到的数据处理难题。

2024-11-18 17:25:23 590

原创 KaiwuDB X 临沂大数据局 | 重点车辆一体化监管,助力你我的安全出行

KaiwuDB 凭借多模融合、高速读写、AI 分析等能力,保证临沂大数据局数十亿数据的高效纳管,实现重点车辆监管运行,为实现“车辆精细化运维”提供关键有效支撑。

2024-09-11 15:24:27 1085

原创 KaiwuDB 受邀亮相 2024 数博会

8月28-30日,KaiwuDB 受邀携一众产品亮相 2024 数博会,重点展示了分布式多模数据库 KaiwuDB 2.0 及其在物联网海量异构数据管理分析的落地应用,现场引来众多客户伙伴们的热烈关注。

2024-09-11 15:00:21 430

原创 KaiwuDB 魏可伟:用“多模”实现对行业的“One size best fits”

DTCC 2024 期间,KaiwuDB CTO 魏可伟老师受邀接受知乎数据库负责人代晓磊的采访,内容十分干货

2024-09-04 13:57:03 1065

原创 KaiwuDB 产品总监李月飞:让中国物联网用上放心的数据库产品

KaiwuDB 产品总监李月飞受邀于 2024 可信数据库发展大会分论坛发表演讲《深耕数据良田,KaiwuDB 洞见能源产业数字新生力》

2024-08-02 16:51:48 794

原创 再添认可!KaiwuDB 储能行业解决方案入选国家级案例集题

“基于 KaiwuDB 的分布式储能行业解决方案”从 1073 项优秀案例中脱颖而出,获评能源领域典型解决方案

2024-08-01 14:07:24 379

原创 KaiwuDB CTO 魏可伟:差异化创新,面向行业的多模架构

KaiwuDB CTO 魏可伟受邀于 2024 可信数据库发展大会主论坛发表演讲《多模一库 —— KaiwuDB 的现代数据库架构探索》,KaiwuDB 2.0 版本全新发布

2024-07-25 17:07:36 1216

原创 咦?KaiwuDB 有大事要说?

KaiwuDB 给可信数据库加点猛料

2024-07-15 13:47:48 478

原创 一等奖!KaiwuDB & 西电联合成果又创佳绩

KaiwuDB 与西安电子科技大学、浪潮软件集团提报的“云原生数据库相关联合研发成果”荣获一等奖

2024-07-15 11:36:53 278

原创 深度解析 PostgreSQL Protocol v3.0(三)— 流复制(上)

PostgreSQL 支持 COPY 操作,COPY 操作通过流复制协议(Streaming Replication Protocol)实现。数据从客户端传输到服务器端。数据从服务器端传输到客户端。服务器端和客户端数据可以双向传输。COPY-IN 和 COPY-OUT 操作分别将连接切换到一个不同于正常命令处理的子协议中,该子协议一直持续到操作完成;不同于 COPY-IN 和 COPY-OUT 模式,COPY-BOTH 模式是从狭义上定义的流复制协议,我们将上述统一称为流复制协议。

2024-07-09 17:32:51 877

原创 KaiwuDB 事务中的 Raft 协议

Raft 协议是一种经典的分布式一致性算法,KaiwuDB 事务即是通过使用该协议来实现数据的一致性,本文主要介绍选举和日志提交两大主要过程.

2024-06-27 09:53:18 1015

原创 大咖专栏 | AI 时代下,我们可以拥有怎样的数据库?

KaiwuDB 引入原生 AI,期望借此帮助用户减负增效。本期主要和大家重点分享 KaiwuDB 的 AI 应用思路和具体实践

2024-06-19 10:37:47 1061

原创 数据库物理计划执行指南

数据库物理计划执行是解决数据库性能问题的重要手段之一,通过对数据库物理结构进行合理规划和优化,可显著提高数据库的查询速度、降低存储空间的占用率,从而提高数据库整体性能。

2024-06-18 11:49:52 837

原创 KaiwuDB 受邀出席中国智能化油气管道与智慧管网技术交流大会

KaiwuDB 受邀亮相第十三届中国智能化油气管道与智慧管网技术交流大会,浪潮院士、山东浪潮数据库技术有限公司总经理、KaiwuDB 董事长张晖发表主题演讲。

2024-05-29 10:13:51 487

原创 Query 物理计划构建指南

一文了解物理计划结构核心概念及详细构建流程

2024-05-27 21:03:00 811

原创 国际顶会认可!KaiwuDB 论文入选 ICDE 2024

KaiwuDB 与中国人民大学合作的论文FOSS: A Self-Learned Doctor for Query Optimizer被数据库领域顶会The 40th IEEE International Conference on Data Engineering (ICDE 2024)录用

2024-05-22 10:21:18 376

原创 智慧管网 | “数字大脑”加速“能源动脉”新升级

原创 又出新方案的 KaiwuDB 2024-05-16 18:20 上海。

2024-05-20 14:21:51 564

原创 KaiwuDB 参编的《分析型数据库技术要求》标准正式发布

KaiwuDB 作为一款分布式、多模融合、支持原生 AI 的数据库产品,支持时序数据、关系型数据采、存、算、管及数据跨模分析,将自适应时序引擎、事务处理引擎、预测分析引擎、内存实时引擎等多种计算引擎深度融合,助力广大企业用户完成从数据管理到业务场景分析的落地实践。分析型数据库作为数据库产品的重要分支,承担对数据进行在线统计、在线分析、即席查询等发掘信息数据价值的工作。该标准确立了分析型数据库的参考模型,规定了核心能力和支撑能力要求,适用于分析型数据库系统的设计、开发、测试、评估、运维、管理等。

2024-05-09 16:56:29 407

原创 KaiwuDB 解析器之语义解析

解析器是数据库系统的重要组成部分之一,主要的功能是将客户端输入的 SQL 语句分解为语法单元,然后将这些语法单元转化成数据库内部可识别的数据结构,最终生成数据库可以执行的计划。从客户端输入一个 SQL 指令(文本格式),数据库执行器无法直接执行该文本指令,会先通过词法解析和语法解析将文本指令生成数据库能识别的数据结构 AST;语义解析对 AST 进行有效性校验,生成优化器需要的 Memo 数据结构;通过优化器(包括 RBO、CBO)优化后选出一个最优的 Memo 结构;

2024-05-06 15:28:43 952 1

原创 KaiwuDB 受邀亮相 IOTE2024 演讲,顺便领了个奖

受邀亮相 IOTE2024 大会并发表主题演讲,向全球 5 万余名与会者介绍浪潮研发的新一代工业物联数据基座 — 分布式多模数据库 KaiwuDB 及物联网场景解决方案,旨在将先进数据技术引入实体经济领域,促进数字化转型和智能化升级。

2024-04-29 14:45:54 449 2

原创 一文解读 SQL 生成工具

SQL 生成工具可用于测试 Parser 与其他数据库产品的兼容性,通过解析 YACC 语法文件中的产生式,生成对应的 SQL 语句,再使用数据库执行该 SQL,根据结果判断语句是否与其他数据库语法兼容。

2024-04-28 09:42:28 864 1

原创 KaiwuDB CTO 魏可伟:AIoT,用行业定义数据库

魏可伟表示,当今中国乃至全球数据库市场上,从业者习惯于以技术定义数据库产品,例如关系型数据库、OLAP 数据库、时序数据库、图数据库、向量数据库等等,用以分门别类地应对不同类型的数据管理诉求;KaiwuDB 是一款分布式、多模、支持云边端协同的数据库产品,以 AIoT 为一大核心场景,提供高性能、高可用、高兼容、高扩展的数据管理服务及能力,旨在以现代数据库架构,与前沿智能化技术的融合创新赋能工业物联网、数字能源、车联网、智慧产业等新兴数字领域,助力我国传统产业从容步入 IoT 时代。

2024-04-16 09:54:08 403

原创 KaiwuDB 数据库故障诊断工具详解

数字化时代,数据是企业最宝贵的资产之一。然而,随着数据量的增长,数据库管理的复杂性也在不断上升。数据库故障可能导致业务中断,给公司带来巨大的财务和声誉损失。在本篇博客中,我们将分享 KaiwuDB 是如何设计故障诊断工具以及具体的示例演示。

2024-04-09 11:23:26 475

原创 数据库系统访问控制面面观

信息系统安全是保护信息系统中各类型数据资源免受未经授权的访问(包括查看、新增、修改、删除),确保数据完整性、保密性和可用性。在当下万物互联的发展背景下,信息安全尤其重要。访问控制作为信息安全的重要组成部分,既可对用户访问信息系统进行身份鉴别,又可细粒度控制用户对信息的访问权限。数据库作为信息系统的基础软件,承担着数据存储的责任,需要保证信息的完整性、保密性和可用性,就需要进行严格的访问控制。以下为部分内容节选,点击视频查看完整版内容。

2024-03-22 11:48:34 1308 1

原创 KaiwuDB 分布式系统 Range Split & Merge 原理详解

Range(分区)是一种数据库管理组织数据的技术。在分布式系统中,我们可将数据按照一定规则分成多个 Range 进行组织,通过分裂(Split)和合并(Merge)来实现动态管理,用以优化查询性能,并帮助提升系统的扩展性、可用性及负载均衡。本期直播的主要内容即为:KaiwuDB 分布式系统里 Range 的分裂(Split) 与合并 (Merge)。

2024-03-12 10:45:55 1119

数据库物理计划执行指南

数据库物理计划执行是解决数据库性能问题的重要手段之一,通过对数据库物理结构进行合理规划和优化,可显著提高数据库的查询速度、降低存储空间的占用率,从而提高数据库整体性能

2024-06-18

KaiwuDB 数据库系统访问控制面面观.pdf

KaiwuDB 数据库系统访问控制面面观.pdf

2024-03-18

KaiwuDB 分布式系统 Range Split and Merge 原理详解.pdf

KaiwuDB 分布式系统 Range Split and Merge 原理详解.pdf

2024-03-07

参数化查询优化旨在大幅减少优化时间并尽可能减少查询计划执行的次优性,那究竟如何实现参数化查询的有效优化

参数化查询优化旨在大幅减少优化时间并尽可能减少查询计划执行的次优性,那究竟如何实现参数化查询的有效优化

2024-02-06

数据集成时表模型同步方法解析

数据集成时表模型同步方法解析

2024-01-17

TBB 开源库及并发 Hashmap 的使用

TBB 开源库及并发 Hashmap 的使用

2023-06-19

KaiwuDB 数据库自治平台 KAP 监控与告警架构及实例.pdf

企业级数据集群往往有成百上千的各类型运算或应用同时运行,为保障系统的稳定可靠性,势必需要克服庞大数据量、复杂运算逻辑、相互关联大数据组件等重难点,并优化各式告警监控、风险监测应对、问题捕捉解决等核心能力。 KaiwuDB 自主研发的数据库自治平台( KAP )集系统监控、管理、诊断、自治于一体,其中监控告警担当承上启下的关键角色。KAP 的监控告警基于 Prometheus 构建,平台中实现了 Metric 数据采集、存储及可视化展示;并在监控指标基础上,实现了分组告警机制、告警的按需推送和精准推送,优化了传统的监控告警方式,完善自治平台基础能力建设。

2023-03-02

Spark 在KaiwuDB中的应用与实践.pdf

Spark 在KaiwuDB中的应用与实践.pdf

2023-01-18

Kmalloc 共享内存池技术架构详解-KaiwuDB

本期内容主题为《 Kmalloc 共享内存池技术架构详解》,KaiwuDB 为优化内存池技术,将内存池分为多个 Heap,每个 Heap 使用不同的数据结构管理内存,在申请和释放内存时,允许多个进程访问同一块内存,使用并发访问控制管理内存释放动作,并提供了内存池 Stats 接口和 Debug 模式。文章重点包括:1、Kmalloc 共享内存池的架构。2、Kmalloc 共享内存池如何提高内存利用率?3、Kmalloc 共享内存池的并发访问控制。4、Kmalloc 监控与异常检测。

2022-11-30

KaiwuDB 迁移平台(KMP)架构及实例演示

传统迁移过程存在流程繁琐、业务停机长、风险高、成本高等现实痛点,不仅需要极为充足的评估分析,更需要投入大量的人力物力。因而,当前市场普遍面临原有数据库的平滑迁移工作。KaiwuDB 自主研发的数据库迁移平台( KMP )集成了消息服务与同步组件功能,通过控制台操作即可完成不同源数据交换;支持 Oracle、SQL Server、MySQL、DB2、Informix、 PostgreSQL 等数据库的同步和备份,保障数据库迁移工作高效有序地顺利开展。

2022-11-16

走进 Orca 架构及技术世界-KaiwuDB

本文内容包括: Orca 重点概念、技术架构、源码分析、实例讲解 4 部分。Orca 中主要涉及到 CBO 优化, CBO 简单来说,就是探索出所有可能的查询路径,然后分别计算出路径的成本,选择出成本最小的一条路径的一种优化手段...

2022-10-28

KaiwuDB-学习型索引在数据库中的应用实践

索引是数据库引擎的重要组成部分,在当下数据井喷式爆发的阶段,如何高效准确地在海量数据中快速检索某条或某个特定范围的数据就显得尤为关键。随着技术地不断演进,由 Google 和 MIT 推出的学习型索引新范式,极大地改变了 DBMS 索引结构的设计方式。本期我们将带领大家深入走进学术大咖们的“学习型索引”新世界。

2022-09-29

数字能源边缘实时计算实践-KaiwuDB

自2020年提出“双碳”目标以来,亟需数字技术与能源行业深度融合,真正实现能源清洁低碳转型与数字化升级。KaiwuDB 聚焦“数字能源”领域,为用户打造数字化能源管理平台,提升综合能源和碳资产管理能力。 本期我们将围绕“数字能源”主题,由 KaiwuDB 研发工程师李刘鹏老师为大家介绍《数字能源边缘实时计算实践》。李老师长期专注于时序数据的存储与运算、实时计算等领域,目前负责数字能源边缘端研发工作,具备丰富的开发与管理经验。 传统能源行业涉及数据信息错综复杂,不仅需要采集各类设备实时运行的状态数据,同时还需围绕采集数据进行实时计算、分析及预测。本期直播将围绕边缘实时计算实践中使用的go-streams组件的技术原理、实现以及优化策略,深入解析 KaiwuDB 在边缘实时计算中的落地实践。

2022-09-01

Bloom Filter 在数据库系统的应用

Bloom Filter 在数据库系统的应用

2022-07-12

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除