- 博客(169)
- 问答 (1)
- 收藏
- 关注
原创 GaussDB SQL调优全流程指南:从问题定位到持续优化
开发规范:所有过滤条件字段必须建立索引避免SELECT *,仅查询必要字段分页查询使用游标或Keyset Pagination运维规范:bash# 定期维护任务通过这套系统化的调优流程,某金融机构实现了:秒杀查询响应时间从5s降至80ms报表生成效率提升15倍数据库负载降低65%建议建立执行计划审查机制,在关键业务变更时进行性能预判,结合AWR报告持续优化数据库性能。
2025-04-08 09:52:42
395
原创 GaussDB SQL 调优:从执行计划到AI驱动的进阶指南
GaussDB的SQL调优需结合其 分布式架构、多模型能力 和 AI工具链:索引设计与查询重写。执行计划分析与分布式代价估算。利用物化视图和向量化引擎加速OLAP场景。结合监控工具持续优化。通过上述方法,可显著提升GaussDB在复杂业务场景下的性能表现。
2025-03-29 16:45:00
1485
原创 GaussDB不同存储引擎架构下的压缩技术特点
堆组织表和普通索引结构,如下图2所示。相比之下,索引组织表采用索引排序的方式存储,如图3所示,树结构的叶子节点不仅存放索引键,还存储主键,使得数据长度相对较长,对查询更为友好。在当前主流数据库系统中,存储引擎的组织方式多样,包括堆组织表和索引组织表,它们基于不同的存储原理,如B-树结构、LSM-Tree结构,以及追加更新和原地更新等关键技术,构成了存储引擎架构的核心。在存储空间受限的场景下,基于LSM-Tree的压缩方案的压缩率难以确定,因为存储空间是持续动态变化的,而存储成本应包括空间占用的最大值。
2025-03-29 16:30:00
317
原创 GaussDB 自动诊断功能:智能化运维的“智能大脑”
GaussDB 的自动诊断功能标志着数据库运维从“被动响应”向“主动预防”的跨越。通过智能化分析引擎与自动化修复能力,企业能够显著降低MTTR(平均故障恢复时间),并将运维团队从重复性工作中解放,聚焦于战略级优化。未来,随着AI与数据库技术的深度融合,自动诊断将成为下一代智能数据库的标配。
2025-03-29 16:30:00
757
原创 关于 _GaussDB 数据库中 MERGE INTO 操作_
MERGE INTO 是 GaussDB 提供的一种高效数据整合操作,用于将两个表(源表和目标表)的数据根据匹配条件进行合并。其核心功能是 插入、更新或删除目标表中的数据,从而实现数据的同步、去重或增量加载。该操作特别适合以下场景:数据仓库的 ETL 流程:将多个源表的数据合并到目标表。增量数据同步:仅更新目标表中发生变化的数据。去重与合并:合并重复数据并保留最新或特定条件下的数据。
2025-03-29 15:30:00
814
原创 GaussDB自带诊断工具实战指南
GaussDB 的自带诊断工具覆盖了从日志分析到实时监控的全链路场景。结合以下最佳实践,可显著提升数据库稳定性:开启慢查询日志,定期分析高频问题语句。利用 EXPLAIN ANALYZE 优化复杂查询的执行计划。通过 GaussDB Advisor 自动化获取调优建议。监控锁等待与资源争用,避免高并发下的性能瓶颈。通过这些工具,开发者与运维人员能够快速定位问题根源,实现高效运维与性能调优。作者:兮酱的探春。
2025-03-29 14:45:00
645
原创 GaussDB 性能诊断核心武器:EXPLAIN ANALYZE 与执行计划
场景 优化手段全表扫描 添加索引、缩小查询范围、利用覆盖索引。连接操作耗时 确保连接字段有索引,优先使用 Hash Join 而非 Sort Merge Join。分布式查询延迟 合理分区表,减少跨节点数据传输(Redistribute/Broadcast)。锁争用频繁 使用行级锁、缩短事务生命周期、调整隔离级别。EXPLAIN ANALYZE 是 GaussDB 开发者与运维人员的“性能显微镜”。
2025-03-29 14:30:00
869
原创 GaussDB 自动诊断功能:智能化运维的“智能大脑”
GaussDB 的自动诊断功能标志着数据库运维从“被动响应”向“主动预防”的跨越。通过智能化分析引擎与自动化修复能力,企业能够显著降低MTTR(平均故障恢复时间),并将运维团队从重复性工作中解放,聚焦于战略级优化。未来,随着AI与数据库技术的深度融合,自动诊断将成为下一代智能数据库的标配。
2025-03-29 14:00:00
560
原创 GaussDB数据库压缩不应只是压缩率
在面对需要分布式改造的超大单表,或需要频繁扩容的分布式系统中的重量级数据库表时,不仅需要关注上述性能指标和系统稳定性,还需要考虑提高资源利用率的方案是否会带来额外的业务改造成本。此外,考虑到数据的生命周期,业务系统中提高资源利用率的方案不应因数据的新旧而产生交叉影响。对于存储资源利用率的挑战,一个直观的解决方案是提升存储系统压缩率,以实现存储空间的节省,或在有限的资源下存储更多的业务数据。因此,从业务系统和数据库的整体角度出发,如何平衡压缩率和系统性能,成为应对业务快速增长带来的存储问题的关键难点之一。
2025-03-29 12:00:00
320
原创 GaussDB性能调优技术指南
GaussDB 性能调优是系统性工程,需结合业务场景、硬件资源及查询模式综合施策:架构层:合理分区、读写分离、分布式并行。配置层:优化内存、I/O、并发参数。查询层:索引设计、执行计划分析。监控层:实时追踪资源使用,定期诊断慢查询。通过以上方法,可将 GaussDB 的性能提升数倍甚至更高,满足金融、物联网、大数据分析等高负载场景的需求。
2025-03-29 11:15:00
1864
原创 GaussDB一个典型场景的对比效果
LSM-Tree引擎在保持默认压缩特性下,将表现出范围查询的耗时越来越大,我们还能观察到因合并行为带来的巨大耗时波动。这是因为LSM-Tree需要遍历查询SSTFile和memtable中被标记删除的数据。随着持续删除的数据越多,范围查询请求的耗时会越来越大,如图5所示。相比之下,GaussDB的查询耗时基本保持平稳。高级压缩实现了存储空间的重复利用,使得整体存储空间变化相对稳定,确保了业务查询耗时稳定。在典型的数据生成、更新和删除场景中,持续的数据更新和删除操作与频繁的范围查询操作共存。
2025-03-29 11:00:00
152
原创 GaussDB 智能问答和运维智能体GaussDB运维智能体
在计划编排步骤得到的故障分析计划下,重新组装提示词输入到大模型进行工具调用执行的任务,可以利用LLM的工具调用Function call能力,从工具集当中选择各个步骤的所需的工具参数,以及对应的工具接口API,生成的结果可以通过restful/Dubbo等接口协议进行执行,并且获取接口调用结果。如图3所示,GaussDB当前的故障运维智能体框架,主要依托大模型的多步对话、规划、反思以及工具调用的能力,形成能够自治并完成复杂故障分析任务的智能体应用。GaussDB故障运维智能体。故障运维智能体工作流程。
2025-03-29 10:15:00
311
原创 GaussDB嵌入式sql命令PREPARE
执行上述语句出现报错时,提示too few arguments on。ecpg提供动态SQL解决PREPARE name [ ( data_type [, …] ) ] AS statement语法场景的使用。包含预备语句的文本C字符串或者宿主变量,预备语句包含SELECT、INSERT、UPDATE或者DELETE命令之一。GaussDB嵌入式sql命令PREPARE。GaussDB参数说明。准备用于执行的语句。
2025-03-29 09:00:00
113
原创 GaussDB 智能问答和运维智能体 GaussDB智能问答
GaussDB基于RAG(Retrieval-Augmented Generation,检索增强生成)和LLM技术构建的智能知识问答能力,通过整合产品文档、社区资料、使用手册和运维手册等私域资料,运用自然语言处理和知识检索技术,GaussDB智能问答助手能理解并解答用户关于GaussDB的各类问题,帮助用户快速找到解决方案,在安装配置、性能优化、操作使用以及故障排查方面,提供精确有效、交互式的回答。为了避免训练过程中模型的遗忘,也适量加入通用语料知识进行混合训练微调,可以提高模型在回答数据库专业的准确率。
2025-03-29 08:30:00
172
原创 GaussDB 嵌入式SQL:OPEN命令深度解析与实战指南
关键原则遵循"打开即处理"原则,避免空游标占用资源在异常处理路径中强制关闭游标结合华为云监控工具实施游标级性能调优性能优化组合拳预编译游标 + 参数绑定 + 池化管理 ≈ 性能提升200%华为云实践建议启用__gaussdb_cursor_metrics诊断视图使用CloudDBA的自动优化建议结合GaussDB Star进行分布式游标管理通过合理运用OPEN命令及其关联功能,开发者可以显著提升GaussDB应用的响应速度和资源利用率。
2025-03-28 14:54:32
372
原创 GaussDB- 支持I层高时延逃生能力
I层异常会导致数据库SQL执行时延升高,进而导致内存或者线程池出现过载问题,针对此场景GaussDB支持自动逃生能力。
2025-02-20 10:12:47
226
1
原创 如何使用云数据库GaussDB管理平台进行实例安装?
有关Raid的配置方法请参考硬件厂家的手册或互联网上的方法进行配置,其中 Disk Cache Policy一项需要设置为Disabled,否则机器异常掉电后 有数据丢失的风险GaussDB支持使用SSD盘作为数据库的主存储设备,支持SAS接口和NVME协议的SSD盘,以RAID的方式部署使用。预安装的目的是在实例安装前完成实例的环境配置,以保证实例安装的正常进行,预安装的 adaptor 接名称为 pre install,预安装需要在待安装实例的所有节点上以实例用户身份来执行。
2025-02-20 09:47:57
703
原创 GaussDB 24.1.30 分布式3节点命令行方式部署(3)
预安装的目的是在实例安装前完成实例的环境配置,以保证实例安装的正常进行预安装的 adaptor 接口名称为 preinstall,预安装需要在待安装实例的所有节点上以实例用户身份来执行。预安装完成后,就可以进行实例的安装了。GaussDB 数据库使用 adaptor接口方式的安装,在adaptor、om-agent安装完成后,会调用 adaptor接口来执行实例的预安装和安装。安装日志位置:/gaussdb/soft/pkg/GaussDBInstaller 下的install_cluster.log。
2025-02-20 09:41:03
230
原创 GaussDB 24.1.30 分布式3节点命令行方式部署(2)
修改 安装脚本中的install_cluster.conf 配置文件 install_cluster.conf 配置文件参数说明 注意:密码中不能用连续的数字。GaussDB 数据库使用 adaptor接口方式的安装,在adaptor、om-agent安装完成后,会调用 adaptor接口来执行实例的预安装和安装。举例:需要把cn_dir路径配置到/data/cn路径下配置修改格式:cn dir=/data/cn。查看pkgDir目录下的安装包 注意:此处注意清理掉其他所有文件,仅仅保留以下的几个文件。
2024-11-29 11:15:45
436
原创 GaussDB 24.1.30 分布式3节点命令行方式部署(1)
root@node01 pkg]# ls -l Gau*-rw-r–r-- 1 root root 32392827 4月 18 23:49 GaussDB-Kernel_505.1.0.B026_Om_X86_Distributed.tar.gz-rw-r–r-- 1 root root 861349604 4月 18 23:49 GaussDB-Kernel_505.1.0.B026_Server_X86_Distributed.tar.gz。
2024-11-29 11:15:14
764
原创 GaussDB数据库SQL系列-定义重载函数
在GaussDB数据库中,函数重载是一个重要特性,允许我们在同一个数据库中定义多个同名函数,根据参数的不同来调用不同的函数。需要注意的是,在数据库中实现自定义重载函数并不是一件必须的事情,因为数据库系统通常已经提供了丰富的内置函数和操作符,能够满足大部分数据处理需求。函数重载是一种允许在同一个数据库中定义多个同名函数的特性。这些同名函数在参数类型、数量或顺序上有所不同,因此可以根据传入的参数的不同来调用不同的函数。使用函数重载,我们可以根据具体情况选择不同的函数来实现不同的功能,使代码更加简洁和可读。
2024-11-29 11:14:03
286
原创 GaussDB技术解读系列:数据库迁移创新实践
数据库的选型除了要看数据库本身的能力外,能否很平滑地从其他数据库迁移到GaussDB,也是很多企业考量的关键因素。SQL审核大家更为熟悉,很多大的企业都会进行探索和实践,但对于GaussDB来说,由于是纯自主创新的分布式数据库,很多企业的开发人员和DBA还不熟悉GaussDB的SQL语法,也没有制定较为完善的SQL编程规范,很多第三方SQL审核工具也没有针对GaussDB的审核能力,这种情况下,我们结合UGO成熟的SQL解析器,以及多个项目中的SQL调优实践,孵化出了GaussDB数据库的SQL审核能力。
2024-11-29 11:13:13
277
原创 GaussDB SQL基础语法示例-BOOLEAN表达式
SQL是用于访问和处理数据库的标准计算机语言。GaussDB支持的SQL标准(默认支持SQL2、SQL3和SQL4的主要特性)。本系列将以《云数据库GaussDB—SQL参考》为主线进行介绍。1、概念在GaussDB数据库中,BOOLEAN表达式是一种很常见的表达式类型,它用于比较两个条件,来确定其是否为真或假。BOOLEAN表达式可以用于条件判断或在循环语句中作为终止条件。其语法非常简单,只需要使用逻辑运算符对两个条件进行比较。
2024-11-29 11:13:00
685
原创 对GaussDB数据库和数据管理的简单介绍
企业应充分利用GaussDB数据库对数据管理的更多功能和优势,加强数据管理实践,不断提升数据质量、数据安全,为企业的发展创造更大的价值。数据库是用于存储数据的系统,为数据提供了安全、可靠、可扩展和可管理的存储环境。数据质量涉及的范围也很广,贯穿业务的整个生命周期,从“数据产生->数据接入->数据存储->数据处理->数据输出->数据展示”,每个阶段都需要质量管理。从语法、语义、语用三个方面去定义和衡量数据质量,在数据产生、数据加工以及数据使用的全过程中均需要符合其制定的标准和规范。
2024-11-29 11:10:38
966
原创 JDBC连接GaussDB云数据库操作示例
目录一、实验环境二、登录华为云创建测试库表1、登录GaussDB云数据库2、建库、建表,用于测试3、新增普通角色(用户)用于登录及访问测试(可选)4、获取对应的公网IP三、创建java工程1、创建java工程2、添加jar包3、编辑Java代码四、执行并查看测试结果。
2024-11-29 11:10:17
978
原创 GaussDB整体性能慢分析
长时间性能下降通常的场景,通常是指某段时间(小时级)性能抖动,比如: 过去8:00-9:00性能正常,但10:00-11:11性能出现较大的性能抖动,这种场景,可以比较两段时间内WDR报告,排查报告内差异点,可排查Top SQL、Top Wait Events、Load Profile、Cache/IO Stats、Object Stats等。当前数据库内核默认是开启线程池的,由于某些或者某个不优SQL慢,导致业务整体性能差,或者占满整个内核线程池,从而可能会引发更加严重的业务阻塞。
2024-11-29 11:08:22
583
原创 GaussDB云数据库SQL应用系列—索引管理
随着互联网的快速发展,数据量呈现爆炸式增长。如何高效地管理和查询这些数据成为了企业面临的重要问题。而数据库索引作为数据库优化的关键手段之一,对于提高数据库性能和查询效率具有重要作用。本文将介绍GaussDB云数据库的索引创建和管理方法,并结合实际应用场景进行分析。本文结合一张测试表简单的介绍了GaussDB云数据库的索引创建、查询、删除等操作。索引可以提高数据的访问速度,但同时也增加了插入、更新和删除操作的处理时间。
2024-11-29 11:08:10
228
原创 GaussDB云数据库SQL应用系列-基础使用
随着云计算技术的不断发展,云数据库已经成为了企业信息化建设中不可或缺的一部分。而在众多的云数据库产品中,华为GaussDB以其卓越的性能和稳定性备受用户青睐。GaussDB云数据库是一款具有高性能、高可用、高安全等特点。它采用了先进的存储技术和算法,可以快速处理大量的数据请求,并保证数据的一致性和可靠性。同时,GaussDB还具有丰富的应用场景。例如,在电商行业中,可以使用GaussDB来存储用户的购物记录和订单信息;在金融行业中,可以使用GaussDB来存储客户的账户信息和交易记录;
2024-11-29 10:54:13
677
原创 GaussDB云数据库SQL应用系列-定时任务管理
GaussDB数据库定时任务主要可以用于实现定期的备份、统计信息采集、数据汇总、数据清理与优化等,它是指在指定的时间间隔内自动执行一次或多次SQL语句的程序。GaussDB数据库兼容Oracle定时任务功能主要通过DBE_TASK高级功能包提供的二次封装接口实现(另可参见GaussDB提供的基础接口PKG_SERVICE,此接口也可实现定时任务创建),主要包括创建定时任务、任务到期自动执行、任务删除、修改任务属性(任务id、任务的关闭开启、任务的触发时间、触发时间间隔、任务内容)等。
2024-11-29 10:50:16
928
原创 GaussDB数据类型介绍
在进行字段设计时,需要根据数据特征选择相应的数据类型。字符串类型在使用时比较容易混淆,下表罗列了GaussDB中常见的字符串类型。1)常用字符串类型2)示例--创建表。--插入数据。--插入的数据长度超过类型规定的长度报错。--明确类型的长度,超过数据类型长度后会自动截断。--查询数据。
2024-11-29 10:49:53
929
原创 GaussDB数据库基础函数介绍-上
本文主要从:数字操作函数、时间和日期处理函数、类型转换函数、数组函数、范围函数、窗口函数、聚集函数、安全函数、系统信息函数、动态脱敏函数等方面作一个简单介绍。这些函数包括获取当前日期和时间的函数、将日期和时间转换为数字格式的函数、处理日期和时间的函数等。–可选参数fmt可以为以下几类:十进制字符、“分组”符、正负号和货币符号,每类都可以有不同的模板,模板之间可以合理组合,常见的模板有:9、0、,(千分隔符)、.(小数点)。提高程序的可读性:函数可以用于定义复杂的SQL语句,从而使得程序的代码更加简洁明了。
2024-11-29 10:47:47
795
原创 GaussDB数据库存储过程介绍
华为云数据库GaussDB是一款高性能、高安全性的云原生数据库,在数据库领域处于领先地位。而在GaussDB中,存储过程是一个不容忽视的重要功能。本文将深入介绍GaussDB存储过程的使用场景、使用优缺点、示例及示例解析、调用方法等方面,为读者提供全方位的指导与帮助。存储过程是一个可重用的、批处理的SQL语句代码块,可以包含多条SQL语句,通常用于执行复杂的数据操作、提高数据库的性能和安全性,以及简化数据库应用程序的开发和维护。
2024-11-29 10:46:51
1010
原创 GaussDB 数据库实验环境搭建指导
本指导书适用于在华为云部署购买GaussDB数据库,通过该指导书可以顺利完成GaussDB数据库在华为云的购买。本实验主要描述华为云GaussDB数据库的购买。
2024-11-29 10:41:06
362
原创 GaussDB集群故障根因诊断
自治运维服务通过采集各个组件(如DN、CN、CMS等)的关键日志信息,以及即时状态信息(如网络连通状态),构建集群状态特征,然后,根据DBMind预置的根因模型库,对问题根因进行判断。DN故障诊断部分特征和根因对应关系如下表,对于日志类特征,0代表对应日志不包含关键字,1代表对应日志包含关键字,对于其他非日志类特征,0代表否,1代表是,最后不同标签数值代表不同的根因。通过上述根因和特性之间关联,利用决策树模型,根据故障日志信息,快速获取故障根因,方便运维人员及时进行故障排除。
2024-11-28 10:28:05
256
原创 GaussDB 慢SQL诊断
上述示例中,用户输入了SQL执行的起止时间,工具会在数据库WDR报告中在该时间范围内进行搜寻,以发现SQL的精确执行时间和结束时间,之后基于上述规则进行分析;慢SQL提供表和函数两种维度的查询接口,用户从接口中能查询到作业的执行计划,开始、结束执行时间,执行查询的语句,行活动,内核时间,CPU时间,执行时间,解析时间,编译时间,查询重写时间,计划生成时间,网络时间,IO时间,网络开销,锁开销等。情况三:两表join操作,选择了NestLoop方式,且执行代价较大,该场景计算慢,引起的性能慢;
2024-11-28 10:25:50
729
原创 GaussDB慢SQL发现
(1)训练阶段前提条件:用户已导入数据,准备好自己的典型业务SQL历史记录,且输入格式为:(SQL执行时长,SQL语句,SQL锁等待时长),其中锁等待时长和SQL执行时长二者必须保证至少有一个不为0. 每一行通过跳格(TAB)分隔。慢SQL发现基于数据库的历史SQL语句,通过对历史SQL语句的执行表现进行总结归纳,将之再用于推断新的未知业务上。预测阶段:用户输入待预测负载,系统根据训练阶段生成的自编码模型对待预测负载进行编码,之后根据训练阶段生成的聚类模型进行分类,进而根据每类的历史信息预测执行时间。
2024-11-28 10:21:49
617
原创 GaussDB高智能--自治运维技术 日志分析
日志记录聚类:相同日志初始模板的日志记录会被聚类为一个日志集合,比如日志记录“getGraceTime, customerID: lisi4, bpID: d1, graceTime:0”与另一个日志记录“getGraceTime, customerID: zhangsan123, bpID: ss2, graceTime:0”的日志初始模板都是[‘get’, ‘grace’, ‘time’, ‘,’, ‘customer’, ‘id’, ‘:’, '’],因此这两条日志记录会被聚类在同一个日志集合里;
2024-11-28 10:19:28
522
空空如也
银行是不是只有一个数据库对外提供服务?
2021-08-23
TA创建的收藏夹 TA关注的收藏夹
TA关注的人