干货分享 | MatrixOne 如何基于K8S+S3构建HTAP数据库

【数据库入门】什么是对象存储?如何配置S3? | OushuDB 对象存储,也称为“面向对象的存储”,英文是Object-based Storage。 它综合了网络附加存储(NAS)和存储局域网(SAN)的优点,同时具有SAN的高速直接访问和NAS的分布式数据共享等优势,提供了具有高性能、高可靠性、跨平台以及安全的数据共享的存储体系结构。... 阅读详情

今天分享的题目是 MatrixOne(以下简称MO) 如何基于 K8S + S3 构建 HTAP 数据库,实际上也可以说是如何面向云来构建一个全新的 HTAP 系统。之所以把 K8S 和 S3 放到标题里,是因为我们认为这是云原生时代对于数据库架构影响最大的两项技术。

接下来的分享分成三部分,首先聊聊我们对云的理解,尤其是云给数据库设计带哪些机遇和挑战;其次描述我们如何面向云的特性,从零开始设计一款全新的 HTAP 数据库;最后,将分享我们的云服务 MatrixOne Cloud 的设计。

云的机遇与挑战

关于云,我主要讲一讲我在开发过程中自己的体感。云的计算资源有三个特点:

  • 按需使用,按量计费;
  • (在一定规模内)近似无限资源;
  • (几乎)覆盖所有规格;

这几点组合在一起,无限资源和按量付费意味着算力的无限弹性伸缩,反正想扩容给钱就行,缩容后开销归零。而按量计费和规格齐全意味着我们不仅可以在广阔的搜索空间内找到最适合业务负载的硬件配置,还能根据负载变化不断去调整硬件配置。这两点结合起来,我们在一定规模内就能安全地假设云基础设施的扩展性没有上限。那么回过来看,应用的扩展性又怎么样呢?目前我们看到的是无状态应用已经能够很好地进行扩展,而有状态应用,尤其是数据库应用的扩展性还有很大的提升空间。举个例子,发轫于虚拟机和块存储时代的 shared nothing 架构虽然在理论上具有无限水平扩展的能力,但往往要提前规划好数据分片(partition),而无论是范围分片(range partition)还是哈希分片(hash partition)动态调整副本数时会涉及到昂贵的分片迁移操作。这样的设计在上下线机器频次很低的数据中心不是问题,但在云上就白白浪费了基础设施层面天然的动态伸缩能力。

其次是存储,重点当然在 S3,也就是对象存储,因为 S3 已经几乎成了云上对象存储的代名词,下面我们就以 S3 来指代对象存储。关于 S3 的讨论已经非常多了,我在这里再说一遍未免有点老调重弹,但为了完整性我们还是看一下对象存储对上层应用的关键影响:

  1. 11 个 9 的可靠性,无限的共享存储空间;
  2. 指数级的存储费用降低和 IO 费用提升(相比块存储);
  3. 长尾延迟高,性能抖动严重。

S3 的可靠性和无限的共享存储空间以一个独特的角度解决了设计数据库时的存储扩展性问题:消灭问题,直接把存储层扩展性交给另一个系统。而与块存储截然不同的成本模型(存储便宜,IO 极贵)以及性能模型(高吞吐、高延迟)则决定了 S3 并不是“低垂的果实”,直接将面向块存储设计的存储系统搬到 S3 上得到的往往是性能下降和账单爆表的双输结果。

最后是 Kubernetes(K8S),我认为 K8S 和云并没有必然的联系,但公有云、私有云、混合云齐头并举的繁荣生态天然需要一个能够封装所有云基础设施的事实标准,而 K8S 恰好是这段历史的选择。MO 从第一天开始就将 K8S 作为首选的运行环境,这里当然有很多技术上的原因,但最重要的是所有的基础设施都在对接 K8S,而应用去适配 K8S 也就通过 K8S 这层抽象适配了所有基础设施。当然,尽管 K8S 几乎可以说是一个”被动“的选择,我们也确实得到了很多 K8S 的利好。比如说,K8S 天然支持以 CRD 和自定义控制器扩展集群的自动化运维能力,这我们得以将 MO 的应用层资源伸缩和配置调整与 K8S 资源层的调整紧密整合起来,打造出第三部分要说的 serverless 能力。

回到 MO,我们自称 MO 是一个云原生的数据库。对我,作为一个开发者来说,这里”云原生“的含义就是在设计 MO 时,我们把上面说的计算资源、S3、K8S 作为了基础假设。那接下来一起看看 MO 的架构是怎样扬长避短,充分利用好云的这些特性的。

MatrixOne 架构

这是一张简化的 MatrixOne 架构图,分成三个模块,我们逐一分析。

对象存储(Object Storage)是MO 的设计基石之一。MO 选择将全量数据存储在 S3,让所有数据可以全局共享,无限扩展。但刚刚我们也看到,S3 的性能和成本问题都需要应用层进行处理,这就引入了 MO 的事务层。

事务层(Transaction Layer)由日志服务(LogService)和事务节点(TN, Transaction Node)组成。从一个外部视角来看,事务日志实际上就是数据库,因为只要有全量的事务日志,就可以随时还原出状态并保证数据完整性。因此,一个事务只要追加到了事务日志内,我们就认为事务提交成功,修改被安全地持久化了。为了确保事务日志的持久性(Durability),我们基于块存储,采用成熟的 Raft 3 副本方案存储设计了日志服务来存储 MO 的事务日志。那熟悉 Raft 的朋友可能就会问两个问题,一是三副本高性能块存储成本怎么压得住,二是单 Raft 组吞吐够吗。这就构成了我们的下一个设计决策,即事务层必须足够轻量。事务层的 TN 节点仅决定事务是否可以提交,将提交的事务写入事务日志,并异步刷入 S3,而在某一个事务时间戳之前的数据都持久化到 S3 之后,TN 就会往 S3 写入一个检查点(checkpoint),并删除检查点之前的所有事务日志。通过这样的设计,LogService 只需要存储最近一小段时间的最新事务日志(MO 称之为 LogTail),实际的生产实践中,只需要购买数十 GB 的高性能块存储就能满足 LogService 的存储需求。

另一个听起来可能反直觉的设计是 MO 的 TN 目前是单副本运行,这也和事务层轻量化的设计相关。因为 TN 是无状态的,每次故障重启后都只需要拉取一部分 S3 上的原数据并在内存中回放 LogTail 就能开始工作,耗时在亚秒级,这个耗时和成熟的主备协议中的探活超时在一个量级上。换言之,TN 宕机重启是数秒不可用,基于 Raft 或其他协议也需要同样量级的时间探测到 Leader 宕机进行换主。当然,目前的设计对于滚动升级这样的有计划重启并不友好,因为有计划升级时我们可以主动迁移 TN Leader,消除停机时间。因此 MO 会支持 TN 以主备模式运行,让 MO 在不同部署环境下对于成本和可用性的权衡有更多选择空间。但这不影响我们这里要说明的重点,那就是整个事务层,包括事务节点和日志服务,都是非常轻量的。

正是依靠事务层,MO 将事务提交直接写入事务日志并异步刷 S3,规避了 S3 的长尾延迟和 IO 昂贵两个问题,而轻量化的设计也决定了事务层并不会成为性能瓶颈和成本黑洞。

最后是计算层,MO 的计算节点(CN, Compute Node)承担所有的计算工作,包括约束检测。CN 只需要读取必要的 S3 数据文件再叠加事务层的 LogTail 就可以在内存中还原出相关库表的最新状态开始处理计算任务,因此 CN 是完全无状态的。不同 CN 可以使用不同的硬件资源,执行不同的计算任务并且无限水平扩展。因此 MO 可以同时为 TP、AP 和 Streaming 提供合适且隔离的硬件资源,并随着负载变化自动调整这些资源,成为一套真正意义上的 HSTAP 系统。

在 CN 上,我们同样面临 S3 的性能和成本问题。因此每个 CN 都有一部分内存(一级缓存)和一块本地存储(二级缓存)作为 S3 的 cache,并且 CN 之间会通过 gossip 交换彼此的缓存信息。通过这些信息,CN 一方面能在分发计算任务时获得更好的缓存本地性(cache locality),另一方面对于数据访问,CN 也会优先到其他持有对应数据缓存的 CN 上拉取这份数据,假如没有任何 CN 持有对应数据,才访问 S3。每个 CN 的本地缓存构成了一个共享缓存(shared cache),这是计算层减少 S3 的 IO 次数,从而提升性能、降低成本的关键。

这里还有个坑没填,分析事务层的时候我们提到日志服务一个 Raft 组不做 sharding 吞吐量够不够。而 MO 既然是 HSTAP 系统,就不止要服务好高频但较小的 TP 写,也要能应对海量数据导入。这一方面依赖于日志服务内大量的工程优化,我们实测下来在 AWS 的 c7g 上用 io2 EBS 可以达到 800+MB/s 的事务日志吞吐。另一方面则依赖 CN 内写流程的自适应优化,CN 会按照事务的写入行数区分事务写和批量写,对于批量写,CN 将数据文件直接写入 S3,在提交事务时不再提交数据,只提交数据文件的 S3 句柄,这极大降低了数据导入对事务日志的吞吐需求。

整个架构串联起来,可以看到 MO 的计算层充分利用了云提供的基础设施弹性能力,事务层解决了 S3 在处理 TP 业务时的短板,这就是为什么我们在第一节说 MO 是面向云来设计的一个数据库系统。MO 是生于云,同时也志在成为一个可靠、经济的云原生基础设施,或许十年后,我再来分享,聊的就是怎么面向 MO 去设计一个云原生或者“MO 原生”的应用了。那下一节就来看看 MO 的云服务—— MO Cloud。

MO Cloud

MO Cloud 来自应用对云服务的需求,当然不是说现在云上没有好用的云数据库,但我们看到了两个机遇,一是真正能够在生产实践中做到一个系统解决绝大部分问题的 HSTAP 系统屈指可数,二是很多优秀的云数据库服务都有供应商绑定的问题。因此我认为 MO Cloud 的竞争力就在于上一节的 HSTAP 架构和这一节的多云支持,无供应商绑定上。我们看看 MO Cloud 是怎么做的。

MO Cloud 和典型的多 K8S 联邦架构比较相似,分为一个中央控制面和可以任意添加的数据面。控制面和每个数据面都是一个 K8S 集群。

中央控制面负责全局管控和多云协同以及全局可观测性,MO Cloud 的微服务和编排系统内的中央控制器都运行在中央控制面内。

每个数据面实例在 MO Cloud 内被称为一个单元(Unit),每一个单元对应一套物理上的 K8S 集群。单元负责运行 MO 集群,一个 MO 集群可以运行在一个或多个单元上。每个单元都会运行一个称为 unit-agent 的组件来和中央控制面通信,不断拉取控制面下发的期望状态并在本地进行调谐实现。大家应该发现了,整套架构就像一个 K8S 架构的放大版,而 unit-agent 就类似 kubelet。因此,这套架构也像 K8S 能够管理异构的节点一样能够轻松扩展异构的单元:不同云上的单元都可以以统一的方式接入 MO Cloud 的编排系统,对接特定基础设施的复杂度都留在单元内解决。这意味着 MO Cloud 天然就有多云和跨云支持,也能支持纳管用户自己的私有云(Bring Your Own Cloud)。

在具体实现上,unit-agent 会在每个单元内拉起一组通用的控制器和一组面向特定基础设施的控制器,这些控制器共同完成基础设施和 MO 集群在单元内的生命周期管理和自动化运维。

单元内的每套 MO 集群都多租户的,因此我们在图上可以看到给一些颜色不同 CN,这些就是不同租户的独享 CN。不同租户的计算资源通过这种方式进行物理隔离。

其次是前两节我们说到 MO 的 CN 节点支持异构和弹性伸缩,这当然是优势,但也带来一个问题就是容量规划的复杂度很高。定一个带有余量的硬件配置是可行的,但除非业务是非常均匀单一的,否则固定硬件将带来很多资源浪费。因此 MO Cloud 的典型服务模式就是无服务器(Serverless),用户只为 SQL 付费。实际上我们都知道,无服务器并不是真的没有服务器,而是服务器不需要用户来管。MO Cloud 需要做无服务器的逻辑不仅仅在于帮助用户做了服务器管理的事情,更是因为数据库系统声明式查询的特性天然决定了 MO 内部拥有比用户更多的信息,具体来说就是数据库的统计信息和查询计划的信息,来决定当前和接下来一段时间内最优的服务器配置应该是怎么样,并不断去调整配置。

其中最典型的一个场景是缩容到零,也就是一个租户已经没有业务了,这时候就直接关闭这个租户的所有 CN。反过来,当租户再次发起一个数据库连接,MO 需要立刻再为租户分配一个独享的 CN。

为了应对这样的场景,MO Cloud 总是会打开 MO 的 Proxy 组件,Proxy 负责处理用户会话(SQL Session)。在从零弹出的场景下,Proxy 会从一组池化的 CN 内拿一个闲置的 CN 节点,进行一些标签信息的调整,将它标记为这个租户的独享 CN,再使用这个 CN 开始服务用户的会话。这套逻辑不仅适应从零弹出,也适应要为特定的负载临时弹出一个或一组 CN 的场景。

同时,Proxy 也负责弹性伸缩和配置变更时 MO 对外服务的质量。由于 MySQL 会话是有状态的, MySQL 协议也没有会话迁移的设计,因此 MO 要保证 CN 的变配不影响用户的长连接就必须使用一个类似 Proxy 这样的轻量、稳定的组件维持与用户的会话,再由 Proxy 实现 Proxy 到 CN 之间的会话迁移。举个例子,在缩容时,Proxy 会逐步将待缩容 CN 上的会话迁移到剩余的 CN 上,迁移完成后再下线这个 CN。这样的设计保证了 MO 内部为了适应变化的负载而做出的频繁变配行为不会影响用户的连接和查询。最终让 MO Cloud serverless 所蕴含的“替用户管服务器”这件事能够做得平滑而高效。

总结

回顾一下,今天我从云开始,以典型 S3 和 K8S 这两项技术作为切入点,跟大家分享了我们眼中云带来的范式变化。目前上云已经不是一件新鲜的事了,而要充分发挥云的潜力(尤其是对数据库系统而言)需要面向云去重新做设计。接下来,我们看到 MO 怎样用轻量级的事务层和无限扩展的计算层实现对云能力的扬长避短,重走了一遍造出一个云原生的 HSTAP 数据库内核的历程。最后,我们一起了解了 MO Cloud 设计原则以及多云支持、Serverless 的技术细节。在今天,无状态应用的云原生化已经非常成熟,而我们认为数据系统也将不再例外。生于云,成为云,这就是 MatrixOne 和 MatrixOne Cloud。

关于MatrixOne

MatrixOne 是一款基于云原生技术,可同时在公有云和私有云部署的多模数据库。该产品使用存算分离、读写分离、冷热分离的原创技术架构,能够在一套存储和计算系统下同时支持事务、分析、流、时序和向量等多种负载,并能够实时、按需的隔离或共享存储和计算资源。云原生数据库MatrixOne能够帮助用户大幅简化日益复杂的IT架构,提供极简、极灵活、高性价比和高性能的数据服务。

MatrixOne企业版和MatrixOne云服务自发布以来,已经在互联网、金融、能源、制造、教育、医疗等多个行业得到应用。得益于其独特的架构设计,用户可以降低多达70%的硬件和运维成本,增加3-5倍的开发效率,同时更加灵活的响应市场需求变化和更加高效的抓住创新机会。在相同硬件投入时,MatrixOne可获得数倍以上的性能提升

TCN(Temporal Convolutional Networks)时序卷积网络详解及代码 阅读详情

相关推荐

微信图片.dat文件解密实战:用Python一键转PNG(附完整代码)

本文详细介绍了如何通过Python解密微信图片.dat文件并转换为PNG格式的完整教程。文章深入解析了微信.dat文件的异或加密原理,提供了自动检测密钥的Python脚本,并分享了批量解密和性能优化的实用技巧,帮助用户轻松恢复和整理微信聊天图片。

weixin_29096377的博客 468

干货分享 | MatrixOne系统架构

随着数字化转型的深入,数据价值也愈发凸显,数据技术出现了融合的趋势,基于客户的真实痛点,矩阵起源推出了超融合MatrixOne HSTAP数据库。MatrixOne 使数据数据库同时具备 TP、AP和Streaming三种能力,帮助客户彻底打破数据孤岛问题,成为企业智能化核心的数据基础设施。今天的分享将解析新一代超融合异构云原生数据库 MatrixOne 刚刚发布的0.5版本和后续版本的架构设计。

MatrixOrigin的博客 898

计算机网络-自顶向下方法 第三章课后习题答案(第七版)

复习题 R1. a) 就叫这个协议为简单传输协议STP(Simple Transport Protocol)。在发送方,STP从发送进程接收不超过1196字节的数据块、目标主机地址和目标端口号。STP向每个块添加一个4字节的头,并将目标进程的端口号放在头中。STP然后将目标主机地址和结果段提供给网络层。网络层将段交付给目的地主机的STP。目的主机基于STP检查段中的端口号,从段中提取数据,并将数据传递给由端口号标识的进程。 b) 在发送方,STP从发送进程接收不超过1192字节的数据块、目标主机地址和目标端

Erekilu的博客 2万+

基于 K8S + S3 部署ByConity

ByConity 基于 K8S + S3 对象存储的存算分离教程, 兼容clikchouse, 可以替代部分clickhouse场景

cheng1483的专栏 1889

【读书笔记】Verilog的亚稳态现象和跨时钟域处理方法

文章目录 一、亚稳态 (1)跨时钟域的亚稳态现象 (2)亚稳态的多径传输 二、跨时钟域处理 2.1 单bit信号跨时钟域处理 (1)单径两级触发器同步器 (2)相位控制 (3)多径与多级寄存器同步链 (4)组合逻辑信号的同步化 (5)快时钟域信号的同步化 2.2 多bit信号的跨时钟域处理 (1)异步FIFO (2)双口RAM.........

毕淑敏曾说过:“我不相信命运,我只相信自己的手;我不相信手掌上的纹路,但我相信手指加上手掌的力量”。在这个快节奏的社会,只有自己能力不足才会被卷,踏踏实实沉下心来学一些技术,及时记录,方便以后复盘。 2万+

别再只看成交量了!用通达信这个VOL监测公式,一眼识别主力吸筹与出货信号

本文详细介绍了通达信VOL监测公式的实战应用,通过彩色量柱和换手率分层技术,帮助投资者识别主力吸筹与出货信号。该公式结合动态量能标准化和多周期均线组合,提供可视化主力行为图谱,提升交易决策的准确性。

weixin_28693447的博客 667

亚马逊云科技|基础系列(3)S3对象存储&RDS数据库

在添加子网部分,选择您的MySQL数据库需要放在哪两个AZ中(最少选择两个,且建议将数据库创建在私有子网中)。选择“查看数据库实例详细信息”以查看RDS(MySQL)数据库实例。(见步骤五图示,可自由填写,用于描述子网组用途、属性等,图示为。检查月度估算费用,确认创建RDS(MySQL)数据库实例。在导航窗格中,选择子网组,选择“创建子网组”在“模板”页面上,选择“开发/测试。选择“创建”,完成创建。选择已创建的VPC:rds。

weixin_49849119的博客 1005

Xilinx FPGA平台DDR3设计保姆式教程(1)DDR3基础简介

xilinx平台DDR3设计(1)DDR3简介 如果我们只是拿来用ddr搬砖,那么它就简单,知道IP怎么使用就好,但是要想知其所以然,理论知识是必备的,这也是我们初学者所欠缺的东西,慢慢修炼吧! 目录 一、DDR3简介 二、地址的概念及容量计算 三、重要给概念理解 3.2 列地址脉冲选通潜伏期 3.4 掩码 四、参考资料 一、DDR3简介 DDR3全称double-data-rate 3 synchronous dynamic RAM,即第三代双倍速率同步动态随机存储器。...

数字IC/FPGA杂货铺,找一找,或许有你想要的~ 1万+

数据库与对象存储S3如何保持一致性

讨论数据库存储和文件上传操作如何保证一致性的问题

shadon178 博客 962

手把手教你学Simulink——光伏储能系统双向DC-AC逆变器恒功率控制(PQ控制)仿真

本文详细介绍了光伏储能系统中双向DC-AC逆变器的恒功率控制(PQ控制)仿真方法。主要内容包括:1)PQ控制原理及其在光伏满发和储能充放电中的应用;2)系统架构设计,重点推导了功率到dq电流的数学映射关系及电流内环控制算法;3)Simulink建模步骤,涵盖功率电路搭建、PLL设计、电流参考转换等关键环节;4)仿真结果分析,验证了系统在10kW光伏满发和-5kW储能充电模式下的稳态精度和动态切换性能;5)工程实践建议,包括数字控制延迟补偿、低电压穿越处理等实际问题解决方案。该指南为新能源并网系统的功率精准控

MHD0815的博客 426

【ROS机器人系统】自主导航+YOLO目标检测+语音播报

完成自主导航功能,并在小车移动至指定地点的过程中,通过机器人的摄像头检测导航途中所见物体,识别出物体的种类(框选出不同物体并标注识别结果),结合科大讯飞语音合成模块对识别结果进行语音播报。..............................

南京大学软件工程硕士在读 2万+

超融合数据库MatrixOne

MatrixOne旨在通过云原生化和存储、计算、事务分离的架构,构建一个强大的HSTAP(Hybrid Streaming Transactional and Analytical Processing)超融合数据引擎。它支持OLTP(在线事务处理)、OLAP(在线分析处理)、流计算等多种业务负载,并兼容公有云、私有云、边缘云等多种部署环境,实现异构基础设施的全面兼容。

xuweilin的博客 840

【KingSCADA】如何建立硬件系统及相关变量

本篇主要讲解如何定义设备,如何定义变量。KingSCADA3.8的采集系统是指负责和现场设备进行通讯,并采集现场数据和控制现场数据的模块,称之为采集器,也叫IOServer应用,它是一组独立的应用程序,可以脱离KingSCADA3.8软件,它依赖于KingSCADA3.8驱动产品,通过驱动与IO设备进行通讯。采集系统由通讯链路,设备,数据块组成。链路:链路是指计算机通过什么方式(接口)与设备进行连接,链路类别:串口,以太网,GPRS,Modem,通信卡,采集卡,无链路。

做有价值的事,积累有价值的笔记! 1万+

部署篇 | MatrixOne与MySQL全面对比

MatrixOne Cloud 是一个全托管云原生数据平台,它提供了 HSTAP 数据库 MatrixOne 的云上服务,极大简化了 MatrixOne 的部署和运维成本。并且,MatrixOne Cloud 所提供的 Serverless 实例支持计算资源的自动弹性伸缩以及按 SQL 用量计费,让我们不需再关注数据库部署运维的复杂性,而可以仅关注业务应用或SQL本身。章节,MatrixOne中的CN节点是无状态的,在K8s中可以根据负载进行任意的弹性扩缩,保证集群持续保持较低的SQL执行耗时。

MatrixOrigin的博客 1266

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

【亲测免费】 探秘S3SQLite:云存储与SQLite的完美结合

是一个创新性的开源项目,它将流行的轻量级数据库系统SQLite与Amazon S3(或其他兼容的对象存储服务)相结合,提供了一个在云端存储和管理数据的新方式。通过这个项目,开发者可以充分利用SQLite的便利性,同时享受云存储的高可用性和可扩展性。 ## 技术分析 S3SQLite的核心是将SQLite的数据文件存储在S3上,而不是本地磁盘。这意味着: 1. **分布式存储**:所有数据库操

gitblog_00075的博客 896

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

matrixone集群搭建、启停、高可用扩缩容和连接数据库

matrixone数据库安装部署、高可用扩缩容

qyq88888的专栏 3189

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

MatrixOne v2.0.0 release note

MatrixOne 本次迭代对系统在生成式AI应用支持、容灾和稳定性方面做了大幅度提升,重点功能包括:支持对外部存储上的数据访问以及对非结构化数据的访问能力,提供了全文检索能力,提升了向量检索的性能、支持快照备份和基于时间点的数据恢复(PiTR)、CDC 和基于日志复制的主备集群容灾能力,并进一步提升了对 MySQL 的兼容性。当数据发生变更时,表级别发布订阅可以将特定表的数据变更实时同步到订阅者,而不暴露其他表的信息,这相较数据库级别的发布订阅,提供了更高的灵活性和控制。开发必须兼顾多租户模型的需求。

MatrixOrigin的博客 649

MatrixOne从入门到实践01——初识MatrixOne

介绍MatrixOne的各方面

MatrixOrigin的博客 363

MatrixOne从入门到实战04——MatrixOne的连接和建表

前几篇文章,为大家介绍了MatrixOne这个产品,以及编译、部署MatrixOne的服务。本章主要讲述如何使用不同方式连接MatrixOne以及进行表的创建。

MatrixOrigin的博客 1104

从 0 到 100TB,MatrixOne 助您轻松应对

通过云原生相关的开源组件,如 KEDA,可以感知整个集群的负载。MatrixOne 是一款强大的云原生超融合数据库,具备优秀的流式数据写入和加工能力,同时拥有强大的可扩展性,能适应任意规模的负载和数据量。多租户相关能力是MatrixOne产品的一大亮点,通过数据库内部创建新租户,实现数据空间的隔离,便于 SaaS 应用处理多租户需求。对于 AP 相关的大规模查询,如果缓存或 LogTail 中没有所需数据,系统将直接从 S3 读取,由于AP的操作本身就会读较多数据,因此对S3的读取相对是比较友好的。

MatrixOrigin的博客 1100

MatrixOne 实战系列回顾 | 建模与多租户

本次分享主要介绍MatrixOne建模与多租户相关内容。

MatrixOrigin的博客 368

DTC2024精彩预告 | MatrixOne:超融合数据库新星崛起,掀起全新数据革命

同时,MatrixOne的技术实力也受到了国际权威机构的认可,获得了ISO体系认证与中国信息通信研究院认可,MatrixOne携手深圳智慧城市大数据中心有限公司联合申报的《基于超融合数据库的一站式交通大数据平台》成功入选信通院2023 大数据“星河(Galaxy)”——数据库优秀案例。这不仅有助于提升矩阵起源的技术创新能力,还可以将最前沿的科技成果应用到 MatrixOne 产品研发中,进而打造出一款划时代的超融合数据库产品,引领业界高端数据库技术的发展方向。作为本次峰会的一大亮点,

MatrixOrigin的博客 1054

如何在k8s中对接s3存储

根据您使用的安装器,您将拥有不同级别的 POSIX 兼容性。此外,根据您使用的 S3 存储后端,并不总是有一致性保证。这是用于 S3(或兼容 S3)存储的容器存储接口 (CSI)。github地址: https://github.com/majst01/csi-driver-s3。用S3 Browser连接,发现bucket已经创建了,bucket的名称即为pv的名称。如果你用的是k8s 1.25+ 的版本,下面这段可以不执行。如果您使用其他 S3 兼容存储,该区域可以为空。

qq_32789063的博客 1133

S3 的概念和使用

工作需要测试数据库从 S3(Simple Storage Service)导入数据文件,公司有私有S3环境。S3是一种对象存储,数据模型很简单,就是key-value,key就是一个任意字符串,value是一个文件。S3的功能是上传一个文件,并且标记为key,以后就用key获取这个文件。

howard_shooter的博客 5490

MatrixOne助力一道创新打造高性能智能制造AIOT系统

由于数据分散在MySQL,InfluxDB和MongoDB三个数据库中,人,物料,流程,设备等管理模块的数据都在MySQL中,而设备采集导的数据在InfluxDB中,计算中间结果又在MongoDB中。同时,在整个应用迁移的过程中,MatrixOne本身与MySQL也保持了极高的兼容性,一道可以无缝将MySQL的库表直接通过SQL source导入的方式迁移到MatrixOne,并按照建议将InfluxDB及MongoDB中的时序表及文档结构均顺利迁移至MatrixOne中,整个过程仅花费不到一周时间。

MatrixOrigin的博客 1505

多租户篇 | MatrixOne与MySQL全面对比

但上述的实现方式仅适用于MatrixOne K8s集群部署或云原生的MatrixOne Cloud环境,单机部署时由于只有一个CN节点,多租户就仅有"数据隔离"能力,而无法实现"资源隔离"和"弹性扩缩"效果了。MatrixOne 的多租户模式能够为不同的租户提供独立的数据库实例,并采用逻辑隔离的方式确保各租户数据的安全性和独立性,有效防止数据泄露和篡改的风险。得益于其独特的架构设计,用户可以降低多达70%的硬件和运维成本,增加3-5倍的开发效率,同时更加灵活的响应市场需求变化和更加高效的抓住创新机会。

MatrixOrigin的博客 935
上一篇: DTC2024精彩预告 | MatrixOne:超融合数据库新星崛起,掀起全新数据革命
下一篇: 矩阵起源招聘进行时,寻找发光的你~
MatrixOrigin
博客等级 码龄5年 708粉丝 230原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值