KaiwuDB 数据库

流计算是面向流式数据的计算，即对持续不断产生的数据流进行实时采集、处理、分析与输出，最终将处理结果写入目标表。流计算的核心是 “边产生数据边处理”，而非等待数据全部存储后再批量计算。因此，流计算的一大关键优势就是——能够极大地缩短从数据产生到获取洞察之间的时间，在更短时间内挖掘数据价值。

在物联网、工业互联网、智慧城市等领域飞速发展的今天，时序数据已成为刻画物质世界演化的核心语言。从工业设备的温度、压力监测，到气象领域的降雨量变化，再到医疗场景的心电图波形，时序数据无处不在且量级巨大，蕴藏着驱动决策的重要价值。然而，时序数据分析面临开发代价高、周期长、维护成本大、通用性不足等痛点，因此，如何降低各领域使用时序人工智能的门槛，促进物联网企业 AI 工程化落地是亟待攻克的一大关键课题。KaiwuDB 联合华东师范大学重磅推出的时序基础模型，以"治理-分析-决策"为核心框架，秉持AGREE（

在 AIoT、工业互联网场景中，类似"设备元数据（关系数据）+ 传感器数据（时序数据）"这样的联合查询是业务的重要需求之一。然而，在传统多库架构下，这类跨模查询往往意味着 “数据迁移 + 小时级等待”。KaiwuDB 创新自研的跨模优化技术，可将原本可能需要 5 小时的查询任务压缩至 64 秒，场景性能甚至能实现百倍的飞跃。今天就带大家一同探秘，深度拆解 KaiwuDB 跨模查询性能飞跃的核心技术。百倍级别的性能提升，绝非 “简单调优” 能实现。其背后的密码是------KaiwuDB 通过。

的理念，设计了开箱即用的订阅发布能力：无需用户开发复杂的自定义同步逻辑，通过配置化的方式即可实现跨集群、跨系统的数据实时同步，同时兼容多种技术生态（时序引擎、消息队列、业务应用），让不同业务场景能快速复用该能力。其核心目的在于，确保需要数据的人或系统能够在正确的时间、以恰当的形式获取到准确的数据，实现数据的共享与同步。KaiwuDB 数据分发以**“数据价值最大化”**为核心设计原则，在源端与多目标端之间搭建高效、灵活、可靠的流转桥梁，以最小化传输带宽、时间成本实现最大传输效率，发挥最大数据价值。

举个例子，企业要存工厂设备类型信息（关系型）以及工厂各类设备（如拧紧机等）采集的数据（时序型），如果用 2 个独立数据库，会面临数据孤岛、跨库查询复杂、维护成本高的问题。而 KaiwuDB 作为国内面向物联网 AIoT 场景的分布式多模数据库代表，能够支持在同一实例同时创建时序库和关系库，融合处理包括结构化数据、非结构化数据在内的多模数据。：提供 Agent 智能体工具，借助 MCP 协议，结合 LLM 技术，将自然语言处理与 KaiwuDB 深度结合，赋能数据库自动化运维与智能管理。

本文系统梳理了 KWDB 在查询编译与优化方面的核心流程，包括 SQL 语句的词法解析、语法解析、语义解析，以及基于规则的 RBO 优化、基于成本的 CBO 优化，同时详细介绍了针对多模场景的计算本地化优化策略。其核心目标是找到时序引擎能够支持的最大计划树，确保尽可能多的计算逻辑在时序引擎中完成。：核心作用是基于规则与成本优化策略，对解析器生成的结构化数据进行等价转换，在不改变 SQL 语句原意的前提下，提升执行效率、降低运行成本，主要涵盖 RBO 优化、CBO 优化和多模计算优化等方式。

在“自定义 SQL"标签页中，您可以灵活选择查询类型（包括跨模查询、关系表查询和时序表查询），系统不仅提供了对应类型的示例 SQL 供您参考，您还可以直接输入自定义的 SQL 语句来执行查询并实时查看结果。

小K闪电课堂》是 KaiwuDB 推出的系列技术短视频，聚焦数据库创新设计与技术实践，涵盖多模架构、时序处理、AI 引擎、SQL 执行引擎等核心模块，助力用户快速掌握 KaiwuDB/KWDB 的高性能特性与场景化应用。让我们来一探究竟吧！

数据分布在数据库中的作用至关重要，它直接影响到数据库系统的性能、可扩展性、可用性、管理效率和成本。特别是在处理海量数据和高并发请求的现代应用中，合理的数据分布策略是数据库架构设计的核心。本期直播重点讲解了数据分布在分布式数据库中的重要性、 KWDB 数据库分布式架构设计方案、特性及具体实践案例。• Hash 适合预分片，系统会更具确定性；Range 更依赖调度系统• Range 对范围查询很友好，Hash 范围查询基本等价于全表扫描• Range 对前缀查询很友好，实际上属于一种范围查询。

KWDB 的分布式元数据管理采用的统一的数据管理方式，所有的系统数据统一划分为相同大小的分片 Range，使用两级路由的方式管理元数据，每条路由元数据约为 256B，单个元数据 Range 可存储 256K 条路由信息（64MB/256B），所有 ME 启动就持有 Root Mata Range，通过改 Root Mata Range 可以路由到 Metadata Range 以及 User Range。KWDB 为支持这种跨模的执行，增加 ME 层到 AE 层数据下推通道用以支持不同模之间的数据交互。

各位社区小伙伴:好消息！为了帮助大家快速无痛上手 KWDB ，KWDB 研发团队基于已有场景精心打造了一个示例项目 SampleDB ，内附场景与样例数据，零门槛体验多模数据库 KWDB。仓库地址：https://gitee.com/kwdb/sampledb本期博客，我们就用这个 SampleDB, 带大家一起体验 KWDB 在工业物联网智能电表业务场景中的使用。随着向工业物联网的发展，智能电表的应用日益普及，比如实时监控、数据分析、实时异常检测与预测、设备健康度评估、电价优化分析、多维度数据聚合行业标准

这些设备以极高的采样频率持续产生监测数据，使得单条产线每秒产生数十万条传感器数据已成为行业常态，这对数据存储系统的写入吞吐量和查询响应时间提出了前所未有的挑战。面对如此海量时序数据的实时写入与高效查询需求，传统的关系型数据库和通用型NoSQL数据库往往显得力不从心，本文则将聚焦 KWDB 中独具特色的标签（Tag）机制及其索引优化策略，揭示如何通过合理设计提升时序数据管理效率。其中时间戳记录数据产生时刻，字段列存储动态变化的监测数值，而标签列则承载设备的静态属性。√ 选择离散值高的字段（如自增 ID）

• 如果关系数据的过滤性高并且关系数据和时序数据关联的条件中使用的是时序的 tag 值，则会选择将关系的数据下推到时序引擎端进行计算，优化的计算方式可以是直接 hash 过滤 tag 数据，还可以是 look up tag 数据，以此来提高时序数据的检索效率，提前过滤掉时序的大部分数据，减少跨模传递的数据量。用户进行查询时，根据查询的库表进行自适应的查询模式鉴别，通过统一的查询优化器，针对时序和关系的数据做特定的查询优化，生成统一的逻辑计划，最终根据查询的数据模不同定制不同的物理查询计划和物理计划优化。

本文详细介绍了如何在 IDEA 中使用 Maven 管理的 Spring Boot 项目整合 KaiwuDB 数据库，并结合 MyBatis Plus 实现 JDBC 数据访问的过程。以下是关键点和总结：• 技术选型和环境搭建：使用 OpenJDK 1.8、Apache Maven 3.6.3、Spring Boot 2.7.18 和 MyBatis Plus 3.5.5 版本；通过 IDEA 创建基于 Maven 的 Spring Boot 项目，并配置 Java 8 作为开发环境。

KWDB 数据库可高效处理海量且连续的数据流，但对于运维人员来说，根据业务需求进行硬件规划是确保系统稳定、高效运行的基础。

KWDB 采用预写式日志（Write-Ahead Logging，WAL），记录每个时序表的模式变更和数据变更，以实现时序数据库的数据灾难恢复、时序数据的一致性和原子性。KWDB 默认会将保存在 WAL 日志缓存中的日志条目实时写入日志文件，每5分钟通过后台线程更新 WAL 文件和数据文件的 CHECKPOINT_LSN (检查点日志序列号)，写入 CHECKPOINT WAL 日志，然后同步数据文件到磁盘。系统正常停机时，KWDB 会主动同步数据文件到磁盘并更新 CHECKPOINT_LSN。

数据库物理计划执行是解决数据库性能问题的重要手段之一，通过对数据库物理结构进行合理规划和优化，可显著提高数据库的查询速度、降低存储空间的占用率，从而提高数据库整体性能。

KaiwuDB 引入原生 AI，期望借此帮助用户减负增效。本期主要和大家重点分享 KaiwuDB 的 AI 应用思路和具体实践

一文了解物理计划结构核心概念及详细构建流程

Raft 协议是一种经典的分布式一致性算法，KaiwuDB 事务即是通过使用该协议来实现数据的一致性，本文主要介绍选举和日志提交两大主要过程.

解析器是数据库系统的重要组成部分之一，主要的功能是将客户端输入的 SQL 语句分解为语法单元，然后将这些语法单元转化成数据库内部可识别的数据结构，最终生成数据库可以执行的计划。从客户端输入一个 SQL 指令（文本格式），数据库执行器无法直接执行该文本指令，会先通过词法解析和语法解析将文本指令生成数据库能识别的数据结构 AST；语义解析对 AST 进行有效性校验，生成优化器需要的 Memo 数据结构；通过优化器（包括 RBO、CBO）优化后选出一个最优的 Memo 结构；

SQL 生成工具可用于测试 Parser 与其他数据库产品的兼容性，通过解析 YACC 语法文件中的产生式，生成对应的 SQL 语句，再使用数据库执行该 SQL，根据结果判断语句是否与其他数据库语法兼容。

信息系统安全是保护信息系统中各类型数据资源免受未经授权的访问（包括查看、新增、修改、删除），确保数据完整性、保密性和可用性。在当下万物互联的发展背景下，信息安全尤其重要。访问控制作为信息安全的重要组成部分，既可对用户访问信息系统进行身份鉴别，又可细粒度控制用户对信息的访问权限。数据库作为信息系统的基础软件，承担着数据存储的责任，需要保证信息的完整性、保密性和可用性，就需要进行严格的访问控制。以下为部分内容节选，点击视频查看完整版内容。

数据治理的第一步，也是数据中台的一个基础功能 — 即将来自各类业务数据源的数据，同步集成至中台 ODS 层。业务数据源多种多样，单单可能涉及到的主流关系型数据库就有近十种。功能更加全面的数据中台通常还具有对接非关系型数据库、消息队列、日志源、文件源等功能。数据湖通常是 OLAP 型的数据库，虽然中台系统很少会采用多种数据仓库技术，但在技术选型时，可选项也有很多。数据集成可实现多种异构数据库间的数据同步，想要提升数据中台的易用高效性，自动表模型同步则显得至关重要。

如果服务器不支持客户端请求的次要版本（例如，客户端请求版本为 3.1，但服务器仅支持 3.0，不支持 3.1 版本，此时就会发生这种情况），则服务器可以拒绝连接，或者可以使用包含其支持的最高次要协议版本的 NegotiateProtocolVersion 消息进行响应。需要注意的是，服务器可以返回的字符串长度没有预定义长度的限制，因此客户端比较好的编码策略是使用可扩展缓冲区，以便可以接收适合内存大小的内容。需要注意的是，由于历史原因，客户端发送的第一条消息（启动消息）没有消息类型的 1 个字节。

本文主要介绍内容一条查询语句如何实现由逻辑计划生成物理计划。查询语句要执行的操作、涉及的表信息等存放于逻辑计划的 PlanNode 中，物理计划的构建就是通过解析逻辑计划的 PlanNode，将对应的 PlanNode 转换为对应算子（Processor），算子之间再通过 Stream 连接。Physical Plan：物理计划，将逻辑查询计划的每一个操作符选择实现算法并选择这些操作符的执行顺序得到的计划。

optimizer_use_sql_plan_baselines - 控制 SQL 计划基准的使用，启用后，优化器在 SQL 计划基准中寻找正在编译的 SQL 语句的计划，如果找到，优化器会计算各个计划的性能开销，然后选择开销最低的计划。** 注意这里每次重新计算 cost 的代价不大，因为执行计划是已知的，优化器不必遍历所有的可能，只需根据算法计算出已知计划的 cost 便可。SQL 计划管理由三部分组成：SQL 计划基准捕获、SQL计划基准选择、SQL 计划基准发展。批量加载执行计划，包含四种技术。

Spring Security 是 Spring 框架内高度可定制化的安全框架，也是 Spring 应用的标准安全框架，提供了包括认证和鉴权在内的两大部分。其高度集成于 Spring 框架，无需引入第三方扩展模块，可以避 免大量的数据接口适配问题，大幅度减少开发成本和时间。如下图所示，Spring Security 的认证鉴权过程实际上位于请求过滤器和拦截器中，在请求通过了所有的过滤器和拦截器之后才会进行 API 适配。换言之，定制 Spring Security 就是修改过滤链中的各种过滤器和拦截器。

数据库集群是由多个数据库服务器组成的集合，这些服务器协同工作以提供高性能、高可用性和可扩展性的数据库解决方案。它们共享数据和工作负载，并通过协同处理查询和事务来提供一致性和可靠性。1. 数据库集群技术提供能力多个数据库服务器共享数据和工作负载高可用性和容错性数据复制和同步负载均衡和性能扩展统一的管理和监控2. 数据库集群优势高可用性和容错性负载均衡和性能扩展数据扩展和容量管理大数据处理和分析3. 数据库集群分类（1）按架构类型分类主从复制对等复制分片（sharding）

本期大咖KaiwuDB 资深解决方案专家周幸骏周老师毕业于复旦大学数学系，在金融科技行业服务超过 20 年，有丰富的客户项目实施、解决方案设计方面的经验。曾参与多家大型国有商业银行的核心业务数据库系统生产环境的设计与运维。近 10 年来重点关注业务连续性解决方案设计与产品开发，参与设计并实施了“两地三中心”等多个重大项目，拥有 3 项相关专利。数据库集群是由多个数据库服务器组成的集合，这些服务器协同工作以提供高性能和可扩展性等数据库解决方案。

1. 存储资源使用量预测的意义在典型的 IT 服务或应用中，计算、网络、存储是支撑上层应用服务的三个基础，保证存储系统的可用性对服务和应用的稳定运行有重要意义。存储系统可用性的一个重要方面就是有足够的容量，可以满足写入、存储的需求，所以合理规划存储系统的空间资源就非常重要。为了规划存储系统资源，就需要对资源的使用量进行预测，在预测的基础上进行资源的规划、扩缩容等操作。由于目前很多存储是以云服务的形式提供的，对存储资源进行预测对于服务的提供商和使用者都很重要。

论文提出了一个增强的 LSTM 神经网络和自适应的模型集成算法，为不同的存储系统提供统一的存储资源使用量预测服务，该方法的准确率在多个真实生产环境的存储系统中得到了验证。用户在不同存储系统中的存储资源使用策略千差万别，常见的时间序列预测模型难以对资源使用量做出准确预测。存储系统是 IT 基础架构中不可或缺的组成部分，准确预测存储资源使用是提供稳定可靠的存储服务的有效关键手段。2. 若预测偏低，存储资源短缺会面临数据无法写入甚至丢失的风险，导致服务不可用。1. 若预测偏高，冗余的存储资源会造成不必要的开销；

容器模块也包含 concurrent_hash_map，它是一种支持多线程并发使用的 Hashmap 容器，有着较好的并发操作性能。该容器保存具有唯一 Key 的键值对，并且支持并发插入、查找、擦除等功能。同时，该容器支持迭代器功能。使用并发 Hashmap 容器，可以在保证并发操作性能的同时，维护并发操作数据的安全。

元数据变更是数据库管理中不可避免的工作项，减少元数据变更次数可降低数据库维护和管理成本，减轻对业务的影响。在数据库设计和开发阶段，精细设计元数据结构可有效避免设计不合理或不充分的情况；为降低维护难度和变更次数，元数据结构设计应当秉承简单、实用、符合业务需求的原则，避免过度设计；在设计元数据结构时，合并使用约束，包括主键、外键、唯一性约束、非空约束等可以保证数据的完整性和一致性。

当使用 read() 和 write() 系统调用向内核提交读写 I/O 请求操作时需要经历的步骤：1）首先，请求经过虚拟文件系统，虚拟文件系统提供了统一的文件和文件系统的相关接口，屏蔽了不同文件系统的差异和操作细节；2）其次，适配当前磁盘分区的文件系统，常见文件系统有 ext2/3/4、FATfs、sysfs、debugfs 等；3）再次，内核将 I/O 请求交给 I/O 调度层进行排序和合并处理。经过 I/O 调度层加工处理后，将 I/O 请求发送给块设备驱动进行最终的 I/O 操作；

用户可以通过 PQresultStatus () 获取到结果状态，如果状态为 PGRES_COMMAND_OK，说明已经成功执行了命令，但是没有返回任何的值；如果获取到的结果对象状态良好，用户即可使用 PQntuples 获取列数，PQnfields 获取行数， PQfname 获取列名，PQgetvalue 获取某一行某一列的结果。PQExecParam 与 PQExec 很像，但提供了额外的功能：参数值可以与命令字符串本身分开指定，查询的结果也可以被指定为文本或者二进制。

它根据逻辑计划中不同执行算子的节点生成，在构建物理计划时，会采用分阶段 (stage) 的方式添加相应的 processor，实际上保存在 PhysicalPlan 结构体中的是处理器链路。1. 向执行引擎派发查询，通过识别 stmtBuff 的协议类型并进行分类，再对不同类型，调用不同的执行方法，如图 1 中所示，对于数据库执行的语句，一般都是 execStmt 类型；在 joinNode 中，算子主要是存储连接的结果，因此其下面的子算子才是真正执行的算子。

这些子任务实现几乎是纯粹的函数，唯一的缺陷是， TypeCheck 将 SQL 占位符（$1、$2 等）的类型以一种对顺序敏感的方式，输出到通过递归传递的语义环境对象上。：此处的 normalize 有点不太准确，因为他并没有进行标准的 normalize，这里只是将除变量名以外的东西都放到比较符号的右侧，从而达到简化的目的。其代码流程介于 parser 和 memo 构建之间，将 parser 输出的 AST 中的对象进行语义解析，语义解析的输出作为 memo 构建的输入。

这样的做法虽然实现简单，无需考虑事务并发带来的影响；AI、DB 技术融合探索实践感兴趣的伙伴千万不要错过本期直播，扫描下方二维码，B站直播不迷路，4月11日（周二）19:30，我们不见不散↓ ↓ ↓。对 Schema 变更方案感兴趣的伙伴千万不要错过本期直播，扫描下方二维码，B 站直播不迷路，5月9日（周二）19:30，我们不见不散↓ ↓ ↓。该方法保证了数据在 Schema 变更过程中的可用性和一致性，并最大程度上减小了对系统性能的影响，在变更完成后依然保证数据的完整性。1. 背景及需求介绍。

AllocateAligned 从内存块的低地址开始分配，Allocate 从高地址开始分配。从内存管理架构图可以看出，RocksDB 维护了 CoreLocal 内存数组，每个线程从所在 CPU 对应的本地 Shard 上分配内存，若不足再去主内存 Arena 进行分配。Arena 负责实现 RocksDB 的内存分配，我们从中可以看到其针对不同大小的内存分配请求，采取不同的分配策略，从而减少内存碎片。如图所示，RocksDB 的内存管理器是支持并发的，接下来让我们一起从源码入手，看看具体如何实现的。