简单体验一把Polardb的等待事件

记录一次polarDB出现Waiting for table metadata lock 在业务实践中,常见的 DDL 阻塞 原因是由于无法获取到 MDL 锁,即 Waiting for table metadata lock。语句无法获取到MDL锁,因此处于阻塞状态。至此,您可以结合实际业务需求,等待事务提交或者使用。表,进一步获取对应线程的详细信息。表,可以快速定位到 DDL 阻塞的原因。即为被阻塞的DDL线程,而线程。命令中止事务后,重新执行。 阅读详情

以前我多次说过等待事件分析对于数据库运维来说十分关键,目前也确实有越来越多的数据库开始支持等待事件分析了。实际上,一些基于PG内核的数据库,大多数是有等待事件的,不过PG原生态的等待事件只有事件,没有等待时间,而且缺乏统计等待事件的汇总信息表,所以使用起来并不容易。利用pg_stat_activity去采集等待事件也要看运气,有时候就会把一些重要的等待事件忽略掉。而且因为缺乏等待时间的指标,因此我们只能从总量上来看一些问题。

这两天正好Polardb的朋友给我发来了最新版的优化手册,可以对应Polardb-O 2.0.2版本的。我拿到后简单翻了翻,发现和2.0.1版本相比,多了一些性能监控方面的管理特性。这正是我们一直期待的。

实际上基于PG代码的国产数据库基本上都是支持等待事件分析的,包括人大金仓、瀚高、优炫、神通、openGauss等。我们的产品去年开始对接PolarDB的时候,原有的PG等待事件分析功能就能够直接支持了。我们这个Polardb数据库安装后还没有针对WAL和checkpoint进行优化,因此WAL的相关等待时间has排在第一位。

CHECKPOINT检查工具对当前的参数提出了一些修改建议。我们按照上述建议调整一下参数,这些参数都是通过alert system 设置后使用pg_ctl reload就可以动态修改的,十分方便。

我们看到,WAL方面的lwlock等待小多了,从系统的TPMC指标上来看,也有了明显的改善。在性能监控视图方面,PolarDB 2.0.2明显比2.0.1版本提升了不少。依赖于PolarDB的polar_monitor/polar_monitor_reload这两个插件,我们可以获得很多的原生态PG数据库所没有的监控特性。其中最为重要的是,我们能够获得等待事件的等待时长的数据了。等待时长可以为运维分析提供更为准确的信息。这一点我前阵子发的几篇关于openGauss的文章中也做了阐述。Polar_monitor插件为我们带来了数个polar开头的监控视图。其中就有我们锁期待的polar_stat_activity,这个和pg_stat_activity近似的监控接口有着我们需要的新数据。

这个监控视图的前半部分和pg_stat_activity类似,不过后面部分的内容确实十分有价值。等待时间、CPU开销,rss内存使用,共享存储读写指标(针对PorlarFS)和本地存储读写指标,这些监控指标可以让我们更加清晰地理解当前等待事件的情况。

这些数据比我们以前仅仅看到等待次数要清晰的多。Polar_stat_io_info/polar_stat_io_latency视图给我们展现了更为详细的IO状态。

Polar_stat_io_info监控视图

Polar_stat_io_latency监控视图

今天只是简单的体验了一下,目前我的环境中,这两个监控接口还没有数据,不知道是不是有什么参数要设置,留待后面慢慢研究吧。这些功能对于我们增强对PolarDB数据库的监控能力至关重要。

在一个高并发系统中,轻量级锁的等待占比是比较高的,因此对于高并发系统中存在的一些性能瓶颈的分析需要对轻量级锁进行深度分析。原生态的PG数据库中我们只能通过定期采集pg_stat_activity来了解轻量级锁的等待数量,这远远不够。和openGauss不同的是,PolarDB并没有针对所有等待事件收集等待事件的汇总信息,仅仅针对lwlock进行了采集,这些数据可以通过polar_stat_lwlock监控视图来获得。

有了这些汇总信息,我们就可以随时掌握一些重要的LWLOCK的等待情况了。这对于分析系统性能瓶颈十分关键。

针对lock,PolarDB也提供了类似的监控能力,这个能力同样来自于polar_monitor_preload插件。通过插件实现这些监控,其开销如何目前我们还没有测试,增强监控要带来一定的系统开销,这一点是肯定的。在Oracle 9i之前,OWI刚刚成熟的时候,Oracle数据库在高负载场景下也是经常建议关闭一些监控的。不过随着现代硬件性能的提升,以及OWI的日渐成熟,大部分监控都成为标准开启的了。在这方面,我想国产数据库也需要不断地在摸索中前进。记得数年前和一个国产数据库研发团队交流的时候,他们也提出过在自己数据库中开启了等待时间监控后,数据库并发性能受到了很大的影响,最终在正式版本中,他们只能舍弃了这个监控功能。

抢鲜体验 PolarDB PG 15 开源版 本书是一本指导DBA进行数据库开发和运维的实用手册,本书共9章,包括漫谈数据库、如何提升数据库性能、如何运维好数据库、如何进行数据库设计、如何做好数据库之间的数据同步、认识HTAP技术、认识数据库的功能原理、认识数据库中的数学(逻辑与算法),以及DBA的日常:数据库管理及开发的最佳实践。支持批量读取、扩展,优化IO性能,并进行了深入的参数调优,提供了极致性能。PG数据库里的一些新特性,有来自其他数据库的应用场景,也有同步实现其他接口协议的功能,还有各版本不断演进的特性。每个 WAL 记录返回一行。 阅读详情

相关推荐

Polardb集中式部署体验

PolarDB是阿⾥云数据库团队⾃主开发的云原⽣数据库。据了解PolarDB是产品品牌统称,云上PolarDB提供了Polardb MySQL版(集中式数据库),PolarDB PostgreSQL版(集中式数据库)和PolarDB分布式版(兼容MySQL)(简称:PolarDB- X) 三个产品版本,之前云上还有⼀个PolarDB兼容Oracle版,但已经与PolarDB-PG合并了。PolarDB对PostgreSQL版和分布式版做了开源,开源PolarDB的站点:OpenPolarDB.com。

xuexiaogang的专栏 2076

体验一把PolarDB单机版

接入D-SMART后我们就可以仔细端详一下PolarDB了,从版本信息可以看出,PolarDB基于PostgreSQL的11.9.18.从发行版本信息中可以看出,该版本是兼容Oracle数据库的,这和PolarDB-O的宣传是一致的,据说与Oracle的语法保持了90%以上的兼容性。昨天下班前我做了一次系统压测,可以看出,在压测的高峰期,BGWRITER的脏块写入比例还是不高,大约在60%多,不过大多数情况下,BGWRITER的脏块写入比例都接近100%,说明PolarDB的这个改进还是有效的。

DBAIOps的博客 1659

阿里云体验有奖:如何一键安装部署PolarDB-X

跟我学PolarDB-X,带你迅速掌握应用搭建,完成学习可领取阿里开源T恤~

Humphreyyyy的博客 1657

POLARDB实现原理解剖

文章目录一、前言二、磁盘空间问题三、redolog日志占用四、undolog日志占用五、DDL与大事务问题六、查询缓存问题七、读写分离问题八、BINLOG问题九、限制问题十、并发连接问题十一、PolarDB节点种类十二、PolarDB与Aurora区别十三、总结 一、前言   POLARDB作为阿里云下一代关系型云数据库,自去年9月份公测以来,收到了不少客户的重点关注,今年5月份商业化后,许多大客户开始陆续迁移业务到POLARDB上,但是由于POLARDB的很多默认行为与RDS MySQL兼容版不一样,导致

雪辉博客 4673

实践教程之 PolarDB-X replica 原理和使用

PolarDB-X 为了方便用户体验,提供了免费的实验环境,您可以在实验环境里体验 PolarDB-X 的安装部署和各种内核特性。除了免费的实验,PolarDB-X 也提供免费的视频课程,手把手教你玩转 PolarDB-X 分布式数据库。本期实验将指导您用PolarDB-X搭建一个高可用系统。

阿里云云栖号 1067

实践教程之如何对 PolarDB-X 进行备份恢复

PolarDB-X 为了方便用户体验,提供了免费的实验环境,您可以在实验环境里体验 PolarDB-X 的安装部署和各种内核特性。除了免费的实验,PolarDB-X 也提供免费的视频课程,手把手教你玩转 PolarDB-X 分布式数据库。

阿里云云栖号 1125

免费体验《自建 MySQL 迁移至 PolarDB 分布式 V2.0》

完成任务一、任务二,点击“上传作品”后提交部署截图并附上真实反馈(结合自己的真实经历分享,反馈非AI生成)将有机会参与抽取幸运好礼!幸运抽奖:活动结束后,我们将在所有成功完成全部任务的用户中随机抽取10名幸运用户,每人赠送价值68元的阿里云限量版无线鼠标1个1、任务一:点击“免费部署”,跟随操作手册完成在线部署即可完成本任务。如任务状态无变化,请刷新等待。请务必使用免费试用点进行体验,否则无法检测任务完成情况。

数据库技术 1061

PolarDB-X安装方法

PolarDB-X

m0_55877125的博客 2235

初识云数据库POLARDB及踩过的那些坑

摘要: 初识云数据库POLARDB,本文从背景、架构、体验POLARDB和总结四个方面来介绍POLARDB。读完本文后,你对POLARDB有一个初步的认识。 POLARDB背景 POLARDB是阿里云自主研发的,具有里程碑意义的新一代关系型数据库,是与MySQL完全兼容的云托管数据库产品。它秉承Cloud Native的原生设计理念,采用了分布式存储引擎设计,性能最高可达到MySQL的6倍。...

xstardust的博客 2万+

阿里云有奖体验:如何使用 PolarDB-X

跟我学PolarDB-X,带你迅速掌握应用搭建,完成学习可领取阿里开源T恤~

gangyikeji的博客 707

华为云CodeHub保姆级教程:从零开始,5分钟搞定本地代码上传(含常见报错解决)

本文提供华为云CodeHub的保姆级教程,从零开始5分钟完成本地代码上传,涵盖环境准备、仓库创建、远程连接及常见报错解决。特别适合新手开发者快速掌握Git命令与云端协作流程,确保代码安全高效上传。

weixin_30443075的博客 480

PolarDB-X 和 PolarDB-M

云原生数据库PolarDB,完全兼容MySQL和PostgreSQL,高度兼容Oracle语法,支持集中式和分布式。相比自建数据库,PolarDB以50%的TCO成本提供最高6倍于开源数据库的交易性能和400倍的分析性能。PolarDB支持单AZ、双AZ、三AZ、跨Region多级高可用配置,最高具备99.995%的可用性;支持快速弹性和线性扩展,通过Serverless提供纵向和横向大范围资源弹性伸缩能力;支持HTAP,一份数据既可进行事务处理又能实时分析。

喝醉酒的小白 2132

Halcon图片拼接避坑指南:特征点匹配常见问题与解决方案

本文深入解析Halcon图片拼接中特征点匹配的常见问题与解决方案,涵盖特征点提取、匹配优化及变换模型选择等关键环节。针对工业视觉检测中的拼接错位、重影等问题,提供参数调优、图像预处理和算法选择等实战技巧,帮助开发者高效避坑并提升拼接精度。

weixin_28694169的博客 198

[数据库]——由POLARDB引发的思考

POLARDB 笔者实习期间在某公司做云计算开发,组内项目不成熟正巧赶上换底座的工作,要求实现进程宕机和节点宕机的高可用无感知切换。 凑巧分到了实现Mysql数据库高可用部分,实现过程中磕磕绊绊,但是关于数据库有了初步的架构认识。 今天“阿里爸爸”面试官老师打电话过来问是否有意向进行数据库内核开发工作,介绍后原来是早有耳闻的POLARDB,怀着好奇心研究了下POLARDB的架构,解开了我在搭建数据...

lucky52529的博客 1856

OpenGL纹理贴图

OpenGL纹理1. 基本概念2. 纹理环绕方式3. 纹理过滤3.1 GL_NEAREST3.2 GL_LINEAR3.3 多级渐远纹理 (Mipmap)4. 纹理加载与创建4.1 纹理加载4.2 纹理创建4.3 纹理的使用 1. 基本概念 纹理是一个2D图片(甚至也有1D和3D的纹理),它可以用来表示物体的细节特征,希望绘制一个有足够多细节的物体,当然可以用足够多的顶点颜色来描述,但是无疑也增加了许多额外的开销;另一种办法就是使用纹理。 学习之前先展示一张实现的纹理图以更好理解纹理! 还是这张图为了将纹

牵LV小猪精的博客 8924

Fastp实战指南:高效处理fastq数据的质控技巧

本文是Fastp实战指南,详细介绍了如何使用Fastp工具高效处理fastq数据的质控技巧。从数据清洗的必要性、基础命令解析,到高级参数定制、UMI数据处理及批量自动化流程,提供一站式解决方案。Fastp以其“All-in-One”的快速质控能力,帮助用户确保测序数据质量,为后续生物信息学分析奠定可靠基础。

weixin_29254029的博客 389

每周问答精选:PolarDB 和 PolarDB-X 的区别是什么?

为了方便各位小伙伴能够方便、快速的了解到 PolarDB 开源数据库的相关的使用问题,社区每周将精选群内高质量的问题通过该栏目予以统一答复,希望能够对大家有所帮助。 PolarDB for PostgreSQL 问答精选 1、 Q:unlogged table 更新时会产生磁盘碎片,需要auto vacuum吗? 还是这些数据也是存到内存? A:都会产生垃圾, unlogged table不是内存表。 2、 Q:Polar Stack operator只能在物理机上安装吗?在虚拟机上运行该命令没

openApsaraDB的博客 3449

适合初学者的ROS机器人教程(1): Ubuntu下ROS创建自己的包和使用github下载的包

ROS如何创建自己的包 1. 首先创建catkin工作空间(如果你以及有了请忽略) $ mkdir catkin_ws # 创建一个文件夹里面计划放我们的项目,ws是workspace的缩写 $ cd catkin_ws # 将当前工作文件夹切换到catkin_ws这个文件夹 ~/catkin_ws$ catkin_make # 执行catkin_make创建一ROS项目 此时你的catkin_...

@司南牧|知乎|博客|易懂教程|李韬 3244

POLARDB 在新的应用里面为什么我们会选择POLARDB 而不是MYSQL

上周日提到一个问题,就是在某个群里面说 POLARDB 不稳定,虽然我和阿里云仅仅客户的关系,或者连客户的关系都算不算,就算一个使用者,但本着实话实说,和不愿意一个好的产品被不公正的评论的因素,谈谈我们为什么在应用中,开始大量使用POLARDB 而不是 MYSQL ,并且作为数据库部门,我们也在尽力对适合的应用建议采用POLARDB FOR MYSQL 而不是MYSQL 。在说这个问题之前,我...

sql server的专栏 1416

基于STM32设计的指针式电子钟与万年历(升级版)

这是基于STM32设计的一个指针式电子钟+万年历小项目,采用3.5寸的LCD屏显示时钟,日历、温度、天气,支持触摸屏调整设置时间,设置闹钟,查看日历等等。整体项目主要是技术点就是LCD屏的图形绘制。比如: 时钟的时针绘制、分针、秒针、表盘、日历绘制等等。

1万+

12、认知地图的建模与学习

本博客系统介绍了认知地图的定义、背景及其在机器智能领域的应用,重点探讨了模糊认知地图(FCMs)的建模方法与优势。文章还对比分析了几种主流的认知地图模型(如Axelrod模型、Kosko模型等),并讨论了模型的稳定性条件及实际应用前景。通过智能制造和医疗诊断的具体案例,展示了认知地图在复杂因果推理中的强大能力,并提出了模型优化方向与未来研究展望。

plant的博客 209

PolarDB 最近遇到加字段加不上的问题 与 使用PolarDB 三年感受与恳谈

开头还是介绍一下群,如果感兴趣PolarDB ,MongoDB ,MySQL ,PostgreSQL ,Redis, OceanBase, Sql Server等有问题,有需求都可以加群群内有各大数据库行业大咖,可以解决你的问题。加群请联系 liuaustin3 ,(共2340人左右 1 + 2 + 3 + 4 + 5 + 6 + 7 群)(1 2 3 4 5 均没有空位了,请不要在问了谢谢)在使...

sql server的专栏 847

YOLOv11 结合多尺度卷积注意力机制(MSCA):小目标检测精度提升20%的完整实现指南

用不同尺寸的深度卷积(如d×7×1、d×1×7等)提取多尺度特征;通过通道融合,强化小目标的细节信息;仅增加4.2M参数,却能让小目标检测精度大幅提升(对比表见后文)。

m0_71589036的博客 185

OceanBase & PolarDB 体系分析图 ---一段人生哲理 封箱2024

开头还是介绍一下群,如果感兴趣PolarDB ,MongoDB ,MySQL ,PostgreSQL ,Redis, OceanBase, Sql Server等有问题,有需求都可以加群群内有各大数据库行业大咖,可以解决你的问题。加群请联系 liuaustin3 ,(共2710人左右 1 + 2 + 3 + 4 +5 + 6 + 7 + 8 +9)(1 2 3 4 5 6群均已爆满,7群400+,...

sql server的专栏 1568

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

关于PolarDB粗浅认识

目前(20240314),PolarDB有两个版本:PolarDB-PGPolarDB PostgreSQL 版(PolarDB for PostgreSQL,简称“PolarDB-PG”)是阿里云自主研发的云原生关系型数据库产品,100% 兼容 PostgreSQL。采用基于 Shared-Storage 的存储计算分离架构,具有极致弹性、毫秒级延迟、HTAP 的能力和高可靠、高可用、弹性扩展等企业级数据库特性。同时,PolarDB 具有大规模并行计算能力,可以应对 OLTP 与 OLAP 混合负载。

刘元林的博客 3879

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

上一篇: 从PolarDB开启监控插件的对比谈起
下一篇: 体验一把Oceanbase单机版
DBAIOps社区
博客等级 码龄3年 970粉丝 107原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值