GreatSQL季报(2021.12.26)

【GreatSQL优化器-12】make_tmp_tables_info GreatSQL的优化器对于聚合函数和窗口函数需要创建内部临时表来进行计算并输出最后结果,这个内部临时表又需要原始表来作为数据输入源,具体的代码处理在函数实现。下面用一个简单的例子来说明是做什么的。"items": [},],},},},},"considering_tmp_tables": [ 这里创建临时表"adding_tmp_table_in_plan_at_position": 2, 临时表总是添加在主表之后},"steps": [ 阅读详情

欢迎来到 GreatSQL社区分享的MySQL技术文章,如有疑问或想学习的内容,可以在下方评论区留言,看到后会进行解答

自从GreatSQL 8.0.25 于 2021.8.26发布以来,针对MGR的新增或改进的主要内容

新增功能

  • 1.新增MGR Arbitrator节点(仲裁节点)角色。该节点只参与MGR投票仲裁,不存放实际数据,也无需执行DML操作,因此可以用一般配置级别的服务器,在保证MGR可靠性的同时还能降低服务器成本。

  • 2.单主模式增加一个新的模式 -- 单主快速模式,集群同步数据只要在内存确认即可,无需同步各个节点的apply信息。这种快速模式,在跨机房部署,poc测试和内存要求不高的场合非常适用,这种模式弱于传统的异步复制,但强于半同步复制,且没有mgr默认的认证数据库内存问题。

机制优化

  • 1.优化Xcom协程调度机制,防止个别task一直在读数据,而其他task无法读取(个别task饿死),导致某些任务执行超时,会被误判为网络异常/超时/故障等情况。

BUG修复

  • 1.修复了在BEFORE模式下一致性读可能导致断言错误的问题。

  • 2.修复了在快速单主模式下(group_replication_single_primary_fast_mode=1),特殊场景下存在内存泄漏的问题。该功能是GreatSQL中新增的。

  • 3.修复了因为hostname配置错误,可能导致启动时报告新端口已经被占用的问题。

  • 4.修复了运行时新增节点导致吞吐量波动异常的问题,使得吞吐更平稳。

  • 5.修复了个别情况下view显示不正确的问题。

  • 6.修复了错误启动PRIMARY节点时,如果同时加入多个节点可能导致集群丢数据的问题,此时如果只加入单个节点,则不会导致此问题。

以上改进内容计划在Percona Server 8.0.27发布后跟进推出,敬请耐心等待。

Enjoy GreatSQL :)

文章推荐:

GreatSQL MGR FAQ https://mp.weixin.qq.com/s/J6wkUpGXw3YkyEUJXiZ9xA

万答#12,MGR整个集群挂掉后,如何才能自动选主,不用手动干预 https://mp.weixin.qq.com/s/07o1poO44zwQIvaJNKEoPA

『2021数据技术嘉年华·ON LINE』:《MySQL高可用架构演进及实践》 https://mp.weixin.qq.com/s/u7k99y6i7riq7ScYs7ySnA

一条sql语句慢在哪之抓包分析 https://mp.weixin.qq.com/s/AYibbzl860D90rOeyjB6IQ

万答#15,都有哪些情况可能导致MGR服务无法启动 https://mp.weixin.qq.com/s/inSGpd0Q_XIl2Mb-VsvNsA

技术分享 | 为什么MGR一致性模式不推荐AFTER https://mp.weixin.qq.com/s/rNeq479RNsklY1BlfKOsYg

关于 GreatSQL

GreatSQL是由万里数据库维护的MySQL分支,专注于提升MGR可靠性及性能,支持InnoDB并行查询特性,是适用于金融级应用的MySQL分支版本。

Gitee: https://gitee.com/GreatSQL/GreatSQL

GitHub: https://github.com/GreatSQL/GreatSQL

Bilibili: https://space.bilibili.com/1363850082/video

微信&QQ群: 可搜索添加GreatSQL社区助手微信好友,发送验证信息“加群”加入GreatSQL/MGR交流微信群

QQ群:533341697 微信小助手:wanlidbc

本文由博客一文多发平台 OpenWrite 发布!

新版本 | GreatSQL 8.0.32-26全新发布 增强“四高”诸多新特性 🌟GreatSQL 8.0.32-26版本全新发布 🙌高可用+高性能+高安全+高兼容全面加强! 🙌增强多项新特性,打造更优使用体验! 戳上方链接一键了解详情~ 阅读详情

相关推荐

GreatSQL安装篇

操作系统:CentOS7 CPU:X86_64架构 数据库:GreatSQL-8.0.32-26-Linux-glibc2.17-x86_64.tar.xz。

BUTCHER 1123

GreatSQL 8.0.32-26 今日发布

等多方面都有增强新特性,包括 Clone 增量备份、压缩备份,MGR 新加入成员节点时自动选择最新数据节点为 donor 节点,NUMA 亲和性优化,非阻塞式 DDL,无主键表导入优化,更多 Oracle 兼容用法,最后登录信息,基于规则的数据脱敏功能等多个新特性。当有新成员节点加入 MGR 时,如果选择 Clone 方式复制数据,支持自动选择从最新事务数据的成员节点复制数据,可有效提升 Clone 速度,提高 MGR 的服务可靠性。当新加入节点触发 Clone 方式复制数据时,也支持该特性。

GreatSQL2021的博客 1255

VS2022下C# WPF项目一键打包成独立exe的完整指南

本文提供了一份在Visual Studio 2022中将C# WPF项目一键打包成独立可执行exe文件的完整指南。通过配置项目属性、启用单文件发布和自包含模式,开发者无需依赖第三方工具,即可生成可在未安装.NET运行时的电脑上直接运行的独立程序,极大简化了桌面应用的分发流程。

weixin_28831399的博客 670

CentOS 7+ 安装 GreatSQL 8.0.32-26

GreatSQL 是基于 MySQL 8.0 打造的开源数据库,兼容 MySQL 协议,优化了性能、高可用(MGR 集群)等特性,适合生产环境部署。本文将详细讲解从环境准备、下载安装到配置优化、远程登录的完整流程,适配 CentOS 7+ 系统(systemd初始化),配置包含性能调优、日志规范、MGR 集群支持,新手也能快速上手。

weixin_65228533的博客 955

更多 LSTM 变种——应用于 CMAPSS 数据集

本文并模型介绍,只是把一些比较火的技术,像双向注意力机制,自注意力机制这样的比较火的内容,简单的和LSTM堆叠,结果发现效果都不如最基础的,这里作者将本人代码及实现结果,进行展示,给各位想更改LSTM的朋友一些。

2301_77491330的博客 1765

深入理解鸿蒙输入子系统驱动:HDI接口、HAL层与内核驱动的协同机制

/ 扫描输入设备// 打开指定输入设备// 关闭指定输入设备// 获取指定设备信息// 获取所有设备列表鸿蒙输入子系统驱动采用分层架构设计,通过HDI接口层实现硬件抽象,HAL层提供统一的事件处理机制,用户空间驱动层负责设备管理和事件分发。整个系统支持多种输入设备类型,包括触摸屏、按键、鼠标、键盘等,并提供了完整的HID设备支持。分层架构:清晰的层次划分,便于维护和扩展事件驱动:基于epoll的高效事件处理机制设备管理:完善的设备生命周期管理HID支持。

m0_67505153的博客 212

GreatSQL 8.0.32-26 发布,安全性进一步增强

GreatSQL 数据库是一款 开源免费 数据库,可在普通硬件上满足金融级应用场景,具有 高可用、高性能、高兼容、高安全 等特性,可作为 MySQL 或 Percona Server for MySQL 的理想可选替换。GreatSQL 8.0.32-26 版本的发布,不仅在功能上进行增强,也在持续关注和投入数据库性能和安全性。8月5日,GreatSQL 8.0.32-26 版本发布,对应的 Docker 镜像已推送,此次还提供了阿里云 ACR 镜像。ღ( ´・ᴗ・` )~其中在高安全方面,新增两个特性。

少安事务所 752

手把手教你学simulink(90.1)--直流电动机实例:基于Simulink的基本模型的直流电动机(DC Motor)建模

直流电动机(DC Motor)因其结构简单、控制方便和良好的调速性能,广泛应用于各种工业自动化、机器人技术、家用电器以及航空航天等领域。为了更好地理解和应用直流电动机的工作原理及其控制系统,本项目旨在通过Simulink对直流电动机进行基本模型的建模与仿真。

MHD0815的博客 439

GreatSQL 8.0.32-26 GA(2024.8.5)

* GreatSQL社区原创内容未经授权不得随意使用,转载请联系小编并注明来源。版本信息发布时间:2024年08月05日版本号:8.0.32-26, Revision a68b3034c3d下载链接:https://gitee.com/GreatSQL/GreatSQL/releases/tag/GreatSQL-8.0.32-26用户手册:https://greatsql.cn/docs/8.0...

老叶茶馆 293

OpenMVS :用 colmap制作自己的数据集 重建(用colmap计算位姿,将位姿转为MVS需要的格式)

数据集制作主要是在windows进行,比较方便。

程序员,他们想的是什么?他们想的永远都是技术,他们崇尚的也永远都是技术。 3325

(王道考研计算机网络)第三章数据链路层-第一节:数据链路层功能概述

文章目录一:本章概述二:数据链路层基本概念三:数据链路层功能概述(1)为网络层提供服务(2)链路管理(3)组帧(4)流量控制(5)差错控制 本章是计算机网络中入门较难的一章,如果没有接触过相关内容,可能会止步于一些晦涩难懂的术语。本节内容希望大家可以用心看一看,对于大家入门是很有帮助的 一:本章概述 数据链路层位于物理层之上,主要作用就是提高物理层传输比特流的能力,使物理层可能出现差错的连接转变为逻辑上无差错的数据链路,同时向网络层提供服务。本章学习的主要就是数据链路层的功能和应用 数据链路层功能 封

快乐江湖的博客 2469

mysql8.0.26兼容greatsql

3、funcition文件中libmysqlclient.a 改成libperconaserverclient.a。2、boost路径修改为1.77.0`4、正常编译部署参天。7、正常编译部署拉起。

weixin_43381707的博客 440

060、模型蒸馏:把扩散模型压进单步的魔法

《端侧文生图模型蒸馏实战:从32步到1步的优化之道》摘要:针对边缘设备部署难题,本文分享了扩散模型蒸馏的核心经验。通过重构损失函数(感知损失+对抗训练+KL散度)、优化采样轨迹截取策略和改造学生模型架构,成功将Stable Diffusion压缩至单步推理。关键发现包括:小批量训练更有效、标签平滑保障生成多样性、双模型策略平衡质量与速度。在Cortex-A53芯片上实现300ms内生成,内存占用控制在200MB以下。特别强调工业部署需权衡压缩率与稳定性,建议保留迭代模式开关以适配不同场景需求。

2601_95651806的博客 150

MariaDB 和 GreatSQL 性能差异背后的真相

最近项目上遇到了两次 MariaDB 和 GreatSQL 的对比,GreatSQL受到客户质疑,最后经过排查抓到性能差异背后的真相。基于此做个分享。无论是问题一中的100倍性能背后还是插入hang住,其实背后都是对产品的不了解,MariaDB 10.3.39其实对应的是5.7的产品,而且其本身的默认参数调整有作弊嫌疑,默认关闭binlog ,sync_binlog设置为0,checkpoint阈值降低,提高checkpoint的频率等设置,面向测试环境数据是很好看的,但是增加了生产环境的风险和硬件成本。

GreatSQL2021的博客 1668

高级技能-高可用和容灾-两地三中心、异地多活架构

两地三中心和异地多活是当前主流的跨地域高可用架构方案。两地三中心通过生产中心、同城灾备和异地灾备的组合,提供多级容灾能力,适合对数据安全要求高的行业。异地多活则采用单元化设计,多个站点同时服务,提升资源利用率,但需解决网络延迟、数据冲突等挑战。两种架构在RTO/RPO、一致性、改造成本等方面各具特点,企业应根据业务规模、一致性要求和预算进行选择,可考虑从同城双活起步,逐步向异地多活演进。混合架构可能是平衡容灾与多活的务实方案。

zhongjianfeng100的博客 169

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

误删GreatSQL数据?别慌,Binlog来帮忙

DELETE 语句误删除单行/多行数据​ 可以查看 Binlog 日志,把 DELETE 语句转为 INSERT 语句重新插入 GreatSQL 数据库恢复删表(DROP / DELETE / TRUNCATE)只能重新重放 Binlog 或者是找到备份恢复删库只能重新重放 Binlog 或者是找到备份恢复UPDATE 语句误修改单行/多行数据只能重新重放 Binlog 或者是找到备份恢复。

GreatSQL2021的博客 1208

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

GreatSQL 自动开启复制导致同步报错

目前需要将生产数据恢复到一个单实例,再将单实例和生产节点配置主从关系,由于单表数据量较大,时间比较有限,考虑到导入导出的时间,并且GreatSQL支持XtraBackup备份恢复,能够加速数据的恢复,因此决定使用XtraBackup备份工具进行数据的迁移;在数据恢复完成后进行数据同步,从库发生报错 1062 主键冲突,通过解析relaylog,根据relaylog中的insert记录,以主键id字段为查询条件进行查询,发现从库中存在该条记录;

GreatSQL2021的博客 1164

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

GreatSQL从单机到MGR扩展纪实

原有的业务系统跑在MySQL主从架构中,高可用通过脚本完成,但存在切换数据丢失和切换不及时风险,调研了高可用更稳定的MGR后,准备入手一试。本篇文章主要记录GreatSQL从单机扩展到MGR的详细过程,遇到的问题及解决方法。

GreatSQL2021的博客 477

MySQL/GreatSQL 应对安全扫描的绝招

用魔法打败魔法背景有些所谓的安全扫描,其实只是简单判断 MySQL/GreatSQL 版本号,全然不考虑是否真的存在相应的风险,但是为了安全合规又不得不做出应对。思路针对这种简单粗暴的扫描手段,解决方案有这么几种:升级版本。这个最为彻底,但工作的代价最大。重新编译二进制包,在编译时自定义版本号。这个方法的代价较小,但治标不治本,而且对很多人来说,编译也不是轻松的事。新增代理层。利用代理层来响应版本...

老叶茶馆 1164

【GreatSQL 优化器 - 13】直方图

从上面直方图创建的步骤我们认识了直方图的类型和创建方法,包括自动和手动两种,以及等宽和等高直方图的区别,学会了查看直方图的桶个数和数据,如果表是一张大表的话,想让样本尽可能多的被抽样,那么系统变量就设置大一点,这样精确度更高,当然相对的更占硬盘资源。下一节讲直方图的应用。

laowangseo1的博客 1338

GreatSQL temp文件占用时长分析

GreatSQL是适用于金融级应用的国内自主开源数据库,具备高性能、高可靠、高易用性、高安全等多个核心特性,可以作为MySQL或Percona Server的可选替换,用于线上生产环境,且完全免费并兼容MySQL或Percona Server。GreatSQL DBA在日常工作中可能会遇到这种情况,存在一个 InnoDB 引擎下的 temp_x.ibt 文件很大,但是却无法确定这个文件是什么时间由哪个连接建立的,难以支撑后续定位问题,今天这篇文章彻底讲明白这个问题。那么,这个文件是由那个连接占用的呢?

GreatSQL2021的博客 983

GreatSQL 从单机到 MGR 扩展纪实

原有的业务系统跑在 MySQL 主从架构中,高可用通过脚本完成,但存在切换数据丢失和切换不及时风险,调研了高可用更稳定的 MGR 后,准备入手一试。本篇文章主要记录 GreatSQL 从单机扩展到 MGR 的详细过程,遇到的问题及解决方法。

Jdjdjjdjdjdje的博客 193

GreatSQL 运行时内存太高,超过90%怎么办

当 GreatSQL 数据库处于高并发高负载时,可能会发现 mysqld 进程的内存消耗远远超出设置的 innodb_buffer_pool_size 时,有时候甚至会高达甚至超过系统内存的90%,遇到这种问题时,心里经常会发慌,担心下一秒内存就会爆了发生 OOM,或者数据库hang死不响应。本文和大家试着使用 GreatSQL 中的 sys schema 和 performance_schema...

老叶茶馆 1317

【GreatSQL优化器-17】DYNAMIC RANGE

GreatSQL 的优化器有一种扫描方式是动态范围扫描方式,类似于“已读乱回”模式,这种模式是在表有多个索引的情况下,对驱动表连接的时候部分选择索引的情况。优化器没有找到好的索引可以使用,但发现在知道前面表的列值后,可能会使用某些索引。对于前面表中的每个行组合,优化器检查是否可以使用 range 或 index merge 访问方法来检索行。虽然这不是很快,但比执行完全没有索引的连接要快。下面用一个简单的例子来说明直方图怎么应用在优化器。

GreatSQL2021的博客 635
上一篇: MySQL:关于MGR中监控的两个重要指标简析
下一篇: 『叶问』#41,三节点的MGR集群,有两个节点宕机后还能正常工作吗
GreatSQL社区
博客等级 码龄5年 1210粉丝 390原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值