- 博客(126)
- 收藏
- 关注
RSS订阅原创 GaussDB数据库技术解读——高性能关键技术
使用谓词查询条件的可满足性Satisfiability (SAT)&可传递性Transitive Closure(TC)对查询进行化简，a.w.k SAT-TC，假设有t1,t2表，他们的定义分别为：T1(c1 int, c2 int);在数据库里RBO基于规则的优化一般指查询重写技术，按照一系列关系代数表达式的等价规则，对查询的关系代数表达式进行等价转换，从逻辑上减少执行的总量从而提高查询执行效率，例如，通过条件的推导得出非必要的表扫描、避免非必要的计算表示等。
2024-12-25 09:25:51
332
原创 聊聊GaussDB新增的Ustore存储引擎
GaussDB新增的Ustore存储引擎，相比于Append Update（追加更新）行存储引擎，Ustore存储引擎可以提高数据页面内更新的HOT UPDATE的垃圾回收效率，有效减少多次更新元组后存储空间占用的问题。Ustore存储引擎结合Undo空间，可以实现更高效、更全面的闪回查询和回收站机制，能快速回退人为“误操”为GaussDB Kernel提供了更丰富的企业级功能。在频繁更新类的业务场景中，更新操作采用原地更新模式，可以获得更高、更平滑的性能表现。
2024-12-25 09:24:36
280
原创 GaussDB技术解读——GaussDB架构介绍之OM运维管理关键技术方案
通过OM Adaptor和OM Agent 采用适配器模式设计，对管控面提供了统一的北向接口。华为云Console调用云管控服务，云管控服务根据用户输入的运维操作，如购买实例，进行相应的操作，如购买实例，云管控服务会创建虚拟机。用户登录华为云Console，访问GaussDB Kernel V5的管控页面，输入想要的运维操作（购买实例）。云管控服务调用Mgr Agent，Mgr Agent会调用内置插件Adapter。OM Agent会调用OM来完成具体的运维操作。Adapter会调用OM Agent。
2024-11-28 08:39:42
167
原创 GaussDB基于智能化（AI）技术，打造AI4DB和DB4AI两大技术高地，重构数据库内核核心组件，提升数据库管理和优化技术，满足数据库科学家对普惠AI的诉求
其中自治运维系统提供用户和DBA进行数据库系统的智能化运维管理能力，包括自监控、自诊断、自调优等方面端到端的运维管理能力，主要目标是提升系统的运维诊断效率，让数据库系统更高效和可靠。GaussDB基于智能化（AI）技术，打造AI4DB和DB4AI两大技术高地，重构数据库内核核心组件，提升数据库管理和优化技术，满足数据库科学家对普惠AI的诉求。DB4AI通过数据库使能AI，满足数据科学家在数据治理方面的诉求，仅通过简易SQL调用，即刻完成机器学习算法的训练和推荐，实现人人会AI，人人用AI的普惠应用。
2024-11-28 08:39:07
291
原创 GaussDB数据库的备份与恢复
支持导出的数据库可以是默认数据库postgres，也可以是自定义数据库。例如，T1时刻启动gs_dump导出A数据库，那么导出数据结果将会是T1时刻A数据库的数据状态，T1时刻之后对A数据库的修改不会被导出。gs_dump是一款用于导出数据库相关信息的工具，支持导出完整一致的数据库对象（数据库、模式、表、视图等）数据，同时不影响用户对数据库的正常访问。数据库级备份前，请执行如下命令检查数据库运行状态，cluster_state为Normal时表示数据库正常运行，可以备份数据库。balanced：平衡状态。
2024-11-28 08:38:26
822
原创 GaussDB数据库的备份与恢复
支持导出的数据库可以是默认数据库postgres，也可以是自定义数据库。例如，T1时刻启动gs_dump导出A数据库，那么导出数据结果将会是T1时刻A数据库的数据状态，T1时刻之后对A数据库的修改不会被导出。gs_dump是一款用于导出数据库相关信息的工具，支持导出完整一致的数据库对象（数据库、模式、表、视图等）数据，同时不影响用户对数据库的正常访问。数据库级备份前，请执行如下命令检查数据库运行状态，cluster_state为Normal时表示数据库正常运行，可以备份数据库。balanced：平衡状态。
2024-11-28 08:37:56
776
原创 GaussDB OM运维管理关键技术方案
通过OM Adaptor和OM Agent 采用适配器模式设计，对管控面提供了统一的北向接口。华为云Console调用云管控服务，云管控服务根据用户输入的运维操作，如购买实例，进行相应的操作，如购买实例，云管控服务会创建虚拟机。用户登录华为云Console，访问GaussDB Kernel V5的管控页面，输入想要的运维操作（购买实例）。Adapter会调用OM Agent。OM Agent会调用OM来完成具体的运维操作。云管控服务调用Mgr Agent，Mgr Agent会调用内置插件Adapter。
2024-11-28 08:37:21
165
原创 GaussDB OLTP 云数据库配套工具DAS
数据管理服务（Data Admin Service，简称DAS），是一种提供数据库可视化操作的工具，包括基础SQL操作、高级数据库管理、智能化运维等功能，旨在帮助用户易用、安全、智能的进行数据库管理（连上网络、打开浏览器，即可随时随地、方便快捷的使用DAS），大幅提高工作效率，让数据管理变得既简单又安全。面向开发人员，最好用的数据库客户端，无需安装本地客户端，所见即所得的可视化提作体验，提供数据和表结构的同步、在线编辑，SQL输入的智能提示等丰富的数据库开发功能。数据操作：快速、自动化的填充表的测试数据；
2024-11-27 09:00:43
352
原创 GaussDB数据库中逻辑对象关系简析
用户是数据库中的实体，用于标识和管理数据库中的各种操作权限和资源使用权限。初次接触openGauss或GaussDB数据库的逻辑对象，被其中的表空间、数据库、schema和用户之间的关系，以及授权管理困惑住了，与熟悉的MySQL数据库的逻辑对象又有明显的不同。因此，在逻辑结构上MySQL系的数据库中的数据库实例与GaussDB数据库中的database相当，一个数据库中可以创建多个database或schema，每个database中又可以创建不同的表，不同database间共享系统表空间和资源。
2024-11-27 08:56:59
780
原创 GaussDB数据库基础函数介绍1
本文主要从：数字操作函数、时间和日期处理函数、类型转换函数、数组函数、范围函数、窗口函数、聚集函数、安全函数、系统信息函数、动态脱敏函数等方面作一个简单介绍。在数据库中，函数的作用非常重要，因为它们可以实现数据的复杂操作，如查询、更新、删除和排序等。支持算法设计的基本要求：函数可以用于实现算法设计的基本要求，如正确性、可读性、健壮性、效率和低存储量需求。实现数据的复杂操作：函数可以用于实现数据的复杂操作，如查询、更新、删除和排序等，从而提高了数据库的操作效率。一、函数在数据库中的作用。
2024-11-27 08:56:19
154
原创 GaussDB全局事务管理层（GTM）关键技术方案
不是每次都写ETCD, 而是采用定期持久化到ETCD 里， 每次写ETCD的CSN要加上一个backup_step (100w), 一旦GTM故障，CSN从ETCD读取出来的值保证单调递增。（1.5 PC）DN 上行级别可见性判断：DN处于prepared状态的事务依赖对应CN上的事务是否提交，如果已经提交，且CSN比snapshot.CSN小，就可见对DN上处于prepared的事务，CN上的事务不处于提交状态，则必须判断是否残留状态，回滚。图3 跨节点事务处理流程。5.1 单节点的事务。
2024-11-27 08:55:40
249
原创 GaussDB集群管理层（CM）关键技术方案
接收并处理 CM Agent 上报的实例状态，下发仲裁指令保证各类故障和异常场景下集群的可用性对应 cm_server 二进制文件，常驻服务CM与各类组件的主备数据同步、倒换、重建等机制高度融合，提供告警、重启、倒换、隔离等手段，赋予数据库实例故障恢复及自愈的高可用（HA）能力，保证数据的可靠性和完整性，最终实现集群对外的业务连续性。DN 故障单点故障可自动恢复主 DN 故障时，仲裁备 DN 升主继续提供服务备 DN 故障时，主 DN 将日志和数据同步至从备，业务不受影响。2） 同等条件下，静态主优先。
2024-11-27 08:55:07
611
原创 GaussDB技术解读系列：运维自动驾驶探索
数据库的可观测能力对于数据库的运维十分重要，GaussDB全链路监控具备从硬件、OS、DB等分层监控，构建从采集、发送、展示、分析到巡检等全链路能力，并且打通了硬件到操作系统，到数据库整个监控链的通道。所谓全局快慢车道，就是定义两个资源池，一个是正常资源池，我们称为快车道，快车道提供大量的资源，正常业务在快车道运行，如果出现交通事故，这里的交通事故就是指异常的SQL业务，我们可以通过页面一键将异常SQL放到慢车道中，慢车道限制了对资源的使用，这样交通事故处理完了，快车道可以继续保持高速运行。
2024-11-26 09:03:20
751
原创 智能关键技术一：自治运维系统
在数据库集群层面，基于故障或者负载需求，提供自动扩缩容、异常节点修复服务。其中秒级采集包括操作系统资源信息采集和数据库实例信息采集，例如操作系统层面CPU、内存、IO读写、网络资源信息采集，数据库实例状态、数据库内关键指标（内存、连接数、TPS、QPS、读写频率等）；其中数据存储用于接收来自数据采集层发生来的数据，存储数据源可以是多种维度或者类型，包括普罗米修斯、时序数据库（OpenTSDB）、MongoDB、SQLite等，DBMind内置对接接口，AI模块与存储数据源的交互，获取数据并进行处理。
2024-10-29 11:41:45
552
原创 智能关键技术三：智能优化器
分别使用基于独立性假设的单列建模和基于条件独立假设的贝叶斯网络计算查询 SELECT * FROM table WHERE A=A1 AND B=B1 AND C=C1的选择率：单列建模：P(A=A1, B=B1, C=C1)=P(A1)P(B1)P(C1)=0.5 * 0.67 * 0.67=0.22贝叶斯网络：P(A=A1, B=B1, C=C1)= P(A1)P(B1|A1)P(C1|B1)=0.5。概率建模过程中，针对形如P(离散值|离散值)的条件概率使用概率表记录每种值的概率；
2024-10-29 11:41:11
840
原创 智能关键技术二：库内AI引擎
同时对已生成的模型进行管理，包括模型评估、定期模型验证、模型导入、模型导出等能力，在验证模型失效后，模型漂移功能可以进行模型刷新，保障模型可用。在执行器中，提供多种AI算子，例如GD算子可支持逻辑回归、分类；KMeans算子支持聚类。在每个算子实现过程中，遵循执行器算子实现逻辑，下层对接Scan算子，上次提供AI算子的训练或推理结果。AI底座和执行层在AI底座中，提供超参优化能力，即用户不指定超参数或者指定超参数的范围，自动选择适合的参数，该功能极大提升用户使用的效率，同时达到最佳的训练性能。
2024-10-29 11:40:34
252
原创 GaussDB数据库中逻辑对象关系简析
总结GaussDB数据库的逻辑对象之间的关系，如下图所示：在逻辑层面，GaussDB数据库以不同的database进行逻辑上的区分，一个数据库实例中可以定义多个database，database内可以定义不同的schema、schema内又包含不同的数据库对象。在物理存储层面，表空间对应的是实际的数据存储目录，同一个database可以使用不同的表空间、同一个表空间又可以被不同的database使用。不过在实际使用过程中建议使用默认的表空间。
2024-10-29 11:38:59
562
原创 GaussDB数据库的备份与恢复
支持导出的数据库可以是默认数据库postgres，也可以是自定义数据库。例如，T1时刻启动gs_dump导出A数据库，那么导出数据结果将会是T1时刻A数据库的数据状态，T1时刻之后对A数据库的修改不会被导出。gs_dump是一款用于导出数据库相关信息的工具，支持导出完整一致的数据库对象（数据库、模式、表、视图等）数据，同时不影响用户对数据库的正常访问。数据库级备份前，请执行如下命令检查数据库运行状态，cluster_state为Normal时表示数据库正常运行，可以备份数据库。balanced：平衡状态。
2024-10-29 11:38:27
750
原创 GaussDB数据库SQL系列-复合查询
复合查询是SQL查询的一个高级特性，它允许用户通过结合多个简单查询来执行更复杂的数据检索操作。通过探索复合查询，包括使用UNION、INTERSECT、EXCEPT以及高级技巧如子查询和各类JOIN操作，我们可以看到GaussDB在处理复杂数据查询方面的强大能力。掌握这些高级查询技能对于进行深入的数据分析至关重要，能够显著提升在GaussDB中进行数据处理和分析的效率和准确性。复合查询是SQL中一种强大的工具，用于结合多个独立查询结果以形成一个单一的查询结果。INTERSECT：返回两个查询共有的记录。
2024-10-29 11:37:57
395
原创 GaussDB轻量化运维管理工具介绍
本期课程将从管理平台的架构出发，结合平台的实例管理、实例升级、容灾管理和监控告警的功能和操作介绍，全面覆盖日常运维操作，带您理解并熟练运用GaussDB运维平台完成运维工作。输入实例节点任意一个管理IP地址，点击检查实例节点，检查主机是否已经录入主机管理，主机状态在线则已经录入允许导入，主机状态离线则未录入，无法执行导入。确认“实例扩容过程中会有锁表操作，可能会阻塞业务，属于高危操作。可以通过灾备升主，将容灾备实例提升为一个包含主DN的实例，使其可以对外提供服务，升主成功后，之前的容灾关系将失效。
2024-10-29 11:37:25
592
原创 GaussDB基于智能化（AI）技术，打造AI4DB和DB4AI两大技术高地，重构数据库内核核心组件，提升数据库管理和优化技术，满足数据库科学家对普惠AI的诉求
其中自治运维系统提供用户和DBA进行数据库系统的智能化运维管理能力，包括自监控、自诊断、自调优等方面端到端的运维管理能力，主要目标是提升系统的运维诊断效率，让数据库系统更高效和可靠。GaussDB基于智能化（AI）技术，打造AI4DB和DB4AI两大技术高地，重构数据库内核核心组件，提升数据库管理和优化技术，满足数据库科学家对普惠AI的诉求。DB4AI通过数据库使能AI，满足数据科学家在数据治理方面的诉求，仅通过简易SQL调用，即刻完成机器学习算法的训练和推荐，实现人人会AI，人人用AI的普惠应用。
2024-10-29 11:36:51
284
原创 GaussDB安全关键技术一：密态等值查询
当查询任务发起后，客户端需要对当前的Query进行解析，如果查询语句中涉及加密列，则对对应的列参数(加密列关联参数)也要进行加密(这里说的加密均需要为确定性加密，否则无法支持对应的查询)；在客户端解析模块，需要识别所有涉及的属性是否包含加密列信息，如果不涉及则直接返回并将查询发送到服务端，如果涉及加密列，则需要按照对应的列加密密钥和加密算法加密参数信息，然后发送查询任务到服务端。其中在客户端需要设计轻量级的解析模块，完成对查询语句的解析，定义密态等值查询所支持的规格。密态数据库的总体架构示意图如下图所示。
2024-10-29 11:36:17
391
原创 GaussDB 数据导入导出工具介绍
通过DN并行导入导出，解决了CN在分布式常规导入导出的瓶颈问题，极大提升了导入导出的效率。a.sqlldr_tbl是目标表名，truncate表示如果表中有数据，则全部删除后再导入，可选值包括:insert、append、replace、truncate。–gs_copy_summary记录执行结果汇总，包括成功行数，出错行数，忽略行数，空行数。–错误表pgxc_copy_error_log。gs_loader工具是一款兼容Oracle的sqlldr的导入工具，语法基本兼容Oracle的sqlldr。
2024-10-29 11:35:46
796
原创 GaussDB 关键架构目标
高智能：面向云化场景故障运维诉求，基于AI技术，提供端到端自治运维管理能力，全面提升数据库产品服务可靠性和可用性；得益于云数据库的迅猛发展，AWS市场份额超越IBM，成为数据库市场空间第三位，聚焦公有云、混合云构筑具备竞争力的可商用分布式数据库版本，数据库已成为公有云Top收入来源，同时通过数据库服务能够更大地提升公有云服务粘性。高安全：继承可信实施策略中安全可信需求，从安全，韧性，隐私等维度构筑安全可信能力，结合业界安全技术前沿发展，设计全密态数据库和防篡改数据库，保证用户敏感数据免于泄露和篡改；
2024-10-29 11:35:11
284
原创 GaussDB SQL查询语句执行过程解析
在下推算子执行时，会考虑数据本地性，尽可能在本地计算，减少数据在网络中的传输开销。（2）ABO（AI Based Optimization，基于机器学习的查询优化）：通过对历史经验的不断学习，ABO将目标场景的模式进行抽象化，形成动态的模型，自适应地针对用户的实际场景进行优化，从而获得最优的执行计划。物化算子一般指算法要求，在做算子逻辑处理的时候，要求把下层 的数据进行缓存处理，因为对于下层算子返回的数据量不可提前预 知，因此需要在算法上考虑数据无法全部放置到内存的情况，例如 Agg、Sort。
2024-10-29 11:34:22
874
原创 GaussDB OM运维管理关键技术方案
通过OM Adaptor和OM Agent 采用适配器模式设计，对管控面提供了统一的北向接口。华为云Console调用云管控服务，云管控服务根据用户输入的运维操作，如购买实例，进行相应的操作，如购买实例，云管控服务会创建虚拟机。用户登录华为云Console，访问GaussDB Kernel V5的管控页面，输入想要的运维操作（购买实例）。Adapter会调用OM Agent。OM Agent会调用OM来完成具体的运维操作。云管控服务调用Mgr Agent，Mgr Agent会调用内置插件Adapter。
2024-10-29 11:33:42
124
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人