2022-09-05 stonedb-整体架构梳理

已于 2023-06-05 11:43:00 修改
阅读量406 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： stonedb 文章标签： mysql 数据库 stonedb
于 2022-09-05 16:45:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/adofsauron/article/details/126708338
本文档详述了STONEDB的整体架构，包括宏观架构的关键概念，如插件式引擎、知识网格和数据包节点。此外，还介绍了顶层引擎的代码目录模块，如异步、基础、核心功能和索引模块。数据目录结构方面，涵盖了数据文件名定义、单个列的数据文件说明，以及事务ID下的数据快照管理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

摘要:

从整体上梳理STONEDB的架构设计, 细分到具体的类级别, 但是不深入具体的函数逻辑的层次。

目的在于建立整体的抽象和最高层的视角, 用来为下一步各个模块的突破。

整体模块架构:

宏观架构(取自infobright)

关键概念:

  1. 插件式引擎
  2. 知识网格: Knowledge Node
  3. DP: DATA Pack
  4. DPN: DATA Pack Node

顶层引擎代码目录模块:

代码目录模块说明:

  • async: 异步包装, 封装协程概念. (未启用)
  • base: 基础模块 
    • core：系统接口相关, 包含线程封装,文件IO, 缓存模块等
    • fmt: 格式化字符串相关
    • net: 网络socket相关
了解本专栏 订阅专栏 解锁全文 超级会员免费看
2022-09-05 stonedb-物理存储层-数据间的关系
悟世之路
09-05 630
从物理层开始,解读引擎是如何封装列数据, 如何使用列数据, 以及与其他模块的关系。
2022-09-11 stonedb-宣讲-第二讲-一条SQL在Tianmu引擎中的运行
悟世之路
09-11 316
记录列存储引擎第二讲的绸缪规划。
StoneDB 2.0 调研：架构解析内存引擎详细设计
Aiky哇
09-24 850
数据在加载到基于列的内存引擎之前会被压缩和编码，但是并非所有类型的数据都适合编码和压缩。
【StoneDB】入门第二课：StoneDB整体架构解析
leizzboy的博客
08-17 570
StoneDB 的整体架构分为三层，分别是应用层、服务层和存储引擎层。应用层主要负责客户端的连接管理和权限验证；服务层提供了 SQL 接口、查询缓存、解析器、优化器、执行器等组件；Tianmu 引擎所在的存储引擎层是 StoneDB 的核心，数据的组织和压缩、以及基于知识网格的查询优化均是在 Tianmu 引擎实现。下面为大家详细介绍 StoneDB 整体架构中的主要特性。 列式存储 StoneDB 创建的表在磁盘上是以列模式进行存储的，由于关系型数据库中每一列的数据类型都相同，所以这种连续的空间存储与行.
StoneDB关系型数据库，全力支撑企业去IOE
DBAman的专栏
09-23 559
StoneDB是基于PostgreSQL开发的关系型数据库管理系统。它继承了PostgreSQL的所有特性，并且提供了许多其他的现代特性： 1.    全面兼容Oracle语法 2.    完善的高可用性方案 3.    全方面的性能增强 4.    可维护性和易用性 5.    更强的安全保证 6.    全面的中文语言支持 产品相关信息如下： 产品主页：http://pgf
StoneDB 宣布开源，一体化实时 HTAP 架构为何是当前最优解
StoneDB_的博客
07-15 764
国产开源数据库赛道又有了新玩家。近日，一体化实时 HTAP 开源数据库 StoneDB 宣布正式开源。以下内容源自 StoneDB 首席架构师、StoneDB PMC 李浩的演讲。 在 2014 年，Gartner 给出了 HTAP 的严格定义，其目的是为了打破事务型负载和分析型负载之间的壁垒，使系统能够支持更多的“数据”在两个系统之间流动，以及以这些数据为基础的 “实时业务”的决策。 回到 Gartern 所提出的问题的本源：我们来探讨一下 HTAP 此类架构的本源动力是什么？传统架构形式下，为了解决同时
mysql之四大引擎、账号管理以及建库
weixin_74454158的博客
01-03 1167
TOzs@%有任revoke DELETE on db xiaoli.t p1 user from zs@%#可以回收GRANTSELECT,UPDATEONdb xiaolit p1 user TOzs @%这条revoke all on db xiaoli.t p1 user from zs@%:#可以回收GRANTALLPRIVILEGESONdb xiaoliTOzs @%这条赋权语句带revoke all on db xiaoli.flush privileges；
2023-01-18 stonedb-对于聚合多线程的架构设计及开发过程的思考
悟世之路
01-18 686
聚合部分进行多线程拆分的工作, 耗时了甚久, 其所花费的精力远超设想。其中有路走对的部分, 也有路走错的部分. 但是更多的是很多时候不知道现有的代码是个什么逻辑, 知道代码是在做什么, 但是不知道为什么要这么做， 无法参悟背后的设计思想。到了现在聚合多线程的工作也到一定的阶段，是时候对过去的错误做反思，用来避免在下一步的行动中继续重蹈覆辙了。正所谓前事不忘后事之师。
Polardb 如何替换MYSQL 之 IMCI 列式（1）建立一个列式引擎
sql server的专栏
03-03 247
开头还是介绍一下群，如果感兴趣polardb ,mongodb ,mysql ,postgresql ,redis 等有问题，有需求都可以加群群内有各大数据库行业大咖，CTO，可以解决你的问题。加群请联系 liuaustin3 ，在新加的朋友会分到2群。讲了那么多期，都是在力量上进行论述，本期开始进入到正式的POALRDB 的内部操作中，POLARDB 与MYSQL 在登录中最大的不同是，你可以通...
【MySQL】存储引擎
最新发布
gma999的博客
11-03 1969
MySQL存储引擎学习
MySQL的存储引擎
2402_83805984的博客
06-18 1750
常用存储引擎：InnoDB、MyISAM不支持事务和外键约束，占用资源较小，访问速度快，表级锁定，支持全文索引，适用于不需要事务处理，单独写入或查询的应用场景。支持事务处理、外键约束，缓存能力较好，支持行级锁定，读写并发能力较好，5.5版本后支持全文索引，适用于一致性要求高、数据更新频繁的应用场景。2.MylSAM不支持事务，也不支持外键约束，只支持全文索引，数据文件和索引文件是分开保存的访问速度快，对事务完整性没有要求MylSAM适合查询、插入为主的应用。
MySQL 存储引擎概述
weixin_51705943的博客
10-23 1202
NDB 存储引擎是一个集群存储引擎，其特点是数据全都存放在内存中（可以将非索引的数据放在磁盘上），通过主键查找的速度非常快， NDB 存储引擎的表连接操作（JOIN） 是由 MySQL Server 层完成的，其执行速度比较慢。因 NDB 是一个集群存储引擎，这里不方便做演示了。MySQL 还提供了很多其他的存储引擎，例如 Merge、Sphinx、Infobright，它们分别有各自合适的应用场景，初学者多学习 InnoDB 存储引擎， InnoDB 存储引擎也是在面试中问的最频繁的存储引擎了。
一文带你看懂 MySQL 存储引擎
热门推荐
扛麻袋的少年的博客
06-05 1万+
本文目录：1.MySQL体系结构2.存储引擎介绍3.MySQL 存储引擎特性4.MySQL 有哪些存储引擎5.了解 MySQL 数据存储方式6.存储引擎介绍6.1 CSV存储引擎6.1.1 使用CSV存储引擎建表6.1.2 查看数据所在硬盘位置6.2 Archive存储引擎6.2.1 使用Archive存储引擎建表6.2.2 Archive对比InnoDB，使用函数批量存储1w条数据6.3.3 查看数据所在硬盘位置6.2.4 使用命令对比数据容量占用情况6.3 Memory5.【重点】InnoDB 和 My
2022-09-22 stonedb-支持自定义函数-现有代码分析
悟世之路
09-22 335
mysql列存储引擎-支持自定义函数-现有代码分析, 分析现有代码, 以确定当前引擎对于自定义函数的支持程度, 作为下一步指定开发计划的依据。
MySQL数据库基础教学之存储引擎
weixin_51613313的博客
02-13 464
MySQL存储引擎一、存储引擎概念介绍二、MySQL常用的存储引擎三、查看系统支持的存储引擎四、查看表使用的存储引擎五、修改存储引擎5.1 通过alter table 修改5.2 通过修改/etc/my.cnf 配置文件，指定默认存储引擎并重启服务5.3 通过 create table 创建表时指定存储引擎 一、存储引擎概念介绍 MySQL中的数据用各种不同的技术存储在文件中，每一种技术都使用不同的存储机制、索引技巧、锁定水平并最终提供不同的功能和能力，这些不同的技术以及配套的功能在MySQL中称为存储引
MySQL 存储引擎详解
微笑听雨
07-23 4175
MySQL 是一个关系数据库管理系统，它的一个显著特性是支持多种存储引擎。每种存储引擎都有其独特的功能、优点和限制。选择合适的存储引擎对于数据库性能、可靠性和可维护性至关重要。下面详细介绍几种常见的 MySQL 存储引擎，包括 InnoDB、MyISAM、MEMORY、CSV、ARCHIVE 和 NDB。
推荐 | 一体化实时 HTAP 数据库 StoneDB，如何替换 MySQL 并实现近百倍性能提升
dbkernel 的博客
07-09 582
本文为数据库圈内好友高日耀首发于“优快云 微信公众号”的文章。最近几年基于 PostgreSQL 开发的国产数据库如雨后春笋般涌现，而受限于 MySQL 的 GPL Licence（感兴趣的可移步我的博文《技术分享 | 如何为你的代码选择一个合适的开源协议？》），二次开发必须开源，这导致基于 MySQL 开发的国产数据库相对较少（比如：万里开源的 GreatSQL），因此，当听说 StoneDB 开源的消息时，我个人还是很兴奋的。废话不多说，以下为正文。众所周知，MySQL 是世界上最流行的 OLTP 数
2022-08-09 stonedb-子查询性能提升-概论
悟世之路
08-09 493
子查询作为SQL语言中重要的组成部分, 正是子查询使SQL语言真正的成为结构化的查询语言，使SQL的应用范围前所未有的广泛。尤其是OLAP场景，由于业务的复杂性，导致存在大量的子查询。子查询也成为了关系型数据库中执行最为复杂及耗时的部分，如何提升子查询的性能，对于一款OLAP的关系型数据库起到决定性作用。............
mysql columnstore引擎_MariaDB ColumnStore调研
weixin_33739591的博客
01-19 492
1.概述ColumnStore(2016.12.14 GA)实际是 mariaDB 版的 InfiniDB。InfiniDB 倒闭于2014年9月，开源版本继续放在 github 上开源。老版本InfiniDB 的 mysql 版本是5.1.39(数据来源网络)。ColumnStore目前使用 MariaDB 10.1。2.主要开发者Daniel LeeNishant Vyas3.使用协议GPL特...
StoneDB 2022-0.4版本压缩包发布
资源摘要信息: 该资源文件名为“stonedb2022-0.4.zip”，是一个压缩包文件，从标题和描述中我们可以得知这是一个与名为“stonedb”的数据库相关的版本文件。尽管在标题和描述中没有提供更多的详细信息，但是我们可以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

悟世者

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值