- 博客(210)
- 收藏
- 关注
RSS订阅原创 mysql-analyze table导致waiting for table flush
一次普通的analyze tables操作却锁住了后续的查询。
2025-02-26 15:52:31
429
原创 pg - cannot open /usr/share/postgresql-common/maintscripts-functions: No such file
安装postgresql的时候可能由于版本不对或其他问题导致如下报错，无法继续安装也无法卸载。可以在另一个机器上面安装common拷贝文件，这里面直接把文件写出来了，
2024-10-17 11:41:11
281
1
原创 tidb-一场select in百万参数引发的血案
当然，中间的排查结果并不是这么顺利的，调整了很多参数，都没有太起作用，最后才定位到这个慢sql,主要是没有想到这个慢sql的执行计划这么大，造成了如此大的影响。
2024-09-25 11:41:26
504
原创 xtrabackup-备份时候导致主从io线程断开
今天突然遇到了一个复制io线程出错的报警，于是立马上去查看，可以发现复制没有任何报错，但是复制io线程停止了，这时候依据经验，可以想到是备份造成的，那么我们详细看下原因。
2024-08-14 16:16:17
521
原创 mysql-orchestrator（一）配置
orcherstrator的配置涉及到很多的内容，详细可查看，下面所说的一些状态的详细解释也可以查看。
2024-05-19 16:26:32
1161
原创 mysql变量-show_compatibility_56
INFORMATION_SCHEMA 表（GLOBAL_VARIABLES、SESSION_VARIABLES、GLOBAL_STATUS 和 SESSION_STATUS）
2024-01-23 15:25:38
1555
原创 doris-修改be的存储路径
因为之前的BE的数据目录在机械盘上，性能太低，打算换到SSD盘，在不改变端口且没有多余机器的情况下，更改磁盘存储位置相对来说比较方便，因为业务尚没有正常使用，所以操作起来更方便非常不推荐这种方式更改，如无必要，不要采取该方式。
2023-12-27 16:35:52
1197
原创 mysql-5.6.16的内存泄漏问题
有一台物理机上一个版本为5.6.16的从库出现了内存的增高，观测其日志可以发现，这台数据库已经oom很多次了，并且stop slave的时候会卡住非常长的时间才能停止。
2023-12-27 15:55:49
724
原创 gh-ost详解
gh-ost是MySQL的无触发器在线DDL。它是可测试的，并提供可暂停性、动态控制/重新配置、审计和许多操作特权。DDL时master会生成少量工作负载，与迁移表上的现有工作负载分离。详细内容请看。
2023-12-11 11:04:18
1203
原创 clickhouse-备份恢复
备份恢复是数据库常用的手段，可能大多数公司很少会对大数据所使用的数据进行备份，这里还是了解下比较好，下面做了一些简单的介绍，详细情况可以通过来查看，经过测试发现Disk中增量备份并不好用，而File中的增量是好用的,也可以看下开源工具的备份功能。
2023-08-17 18:11:46
1739
原创 clickhouse-数据导入导出方案
clickhouse有多种数据的导入导出方式，可以灵活使用，下面对这些方式分别做些介绍，导入导出的写法与和有关。
2023-08-17 14:55:20
5917
原创 clickhouse扩缩容
我们之前已经学会了搭建clickhouse集群，我们搭建的是一套单分片两副本的集群，接下来我们来测试下clickhouse的扩缩容情况。
2023-08-16 17:43:27
1480
原创 clickhouse集群部署
部署的详情可以看先部署两个server,三个keeper[zookeeper]clickhouse之前依赖的存储是zookeeper,后来改为了keeper,官网给出了所以这就决定了clickhouse有两种安装方式，依赖于keeper做存储或者依赖于zookeeper做存储。
2023-08-16 11:34:33
2368
原创 clickhouse-监控配置
监控是运维的一大利器，要想运维好clickhouse,首先就要对其进行监控，clickhouse有几种监控数据的方式，一种是系统本身监控，一种是通过exporter来监控，下面分别描述一下。
2023-08-16 09:49:32
1070
原创 Prometheus的搭建与使用
三、安装Prometheus官网下载地址：https://prometheus.io/download/解压：tar -zxvf prometheus-2.19.2.linux-amd64.tar.gz重命名：mv prometheus-2.19.2.linux-amd64 /home/prometheus进入对应目录： cd/home/prometheus查看配置文件：cat prometheus.yml启动：./prometheus &验证是否成功：http:/..
2023-08-15 09:47:21
1097
原创 mysql-tokudb使用qa
安装tokudb引擎的前提条件是物理机要关闭大页，并需要注意物理机所剩内存和配置文件中tokudb_cache_size（内存主要占用部分），innodb_buffer_pool_size的使用，另外tokudb的安装一定要安装libjemalloc依赖，不然无法安装tokudb引擎。
2023-08-14 15:14:06
560
原创 mysql-xtrabackup的使用
文件名用途xtrabackup的软链，目前仍可使用，但是现在已经弃用，将在下一个主要版本中删除xtrabackup提供备份功能xbcrypt用于加密和解密备份文件的程序xbstream允许流式传输文件和从中提取文件的程序xbcloud用于从云中下载或者上传的程序通过官网了解详细参数解释，下面介绍一些用到的参数参数意义是否xtrabackup独有参数通过应用位于同一目录中名为 xtrabackup_logfile 的事务日志文件（即redo)，在 BACKUP-DIR 中准备备份。
2023-05-31 17:24:04
1261
原创 pt工具的使用（8） pt-deadlock-logger的使用
pt-deadlock-logger 记录有关给定 DSN 上的 MySQL 死锁的信息。信息打印到 STDOUT，也可以通过指定 --dest 将其保存到表中。pt-deadlock-logger 通过轮询和解析 SHOW ENGINE INNODB STATUS 打印有关 MySQL 死锁的信息。当一个新的死锁发生时，它被打印到 STDOUT，如果指定 --dest，可以保存到对应的表中。仅打印新的死锁。
2023-05-22 16:34:54
815
原创 linux-node_exporter突然挂掉（couldn‘t get dbus connection）
突然收到一台机器挂掉的告警，去上面查看发现机器正常，uptime正常，没有重启情况，UID 20029的用户是tidb,su - tidb的时间较长，node_exporter有如下报错。
2023-04-20 17:28:23
1818
原创 pt工具的使用（7） pt-archiver的使用
pt-archiver 是归档表的工具，在 sql 中写入高效归档和清除作业。目标是在不对 OLTP 查询产生太大影响的情况下，将旧数据从表中蚕食掉，从而实现低影响、仅向前的作业。您可以将数据插入到另一个表中，而不必在同一台服务器上。您也可以将其写入适合 LOAD DATA INFILE 格式的文件。或者你两者都不能做，在这种情况下它只是一个增量删除。
2023-04-13 17:46:31
1950
原创 mongo-db相关方法
一、参数 名称 描述 db.adminCommand() 针对admin数据库运行命令。 db.aggregate() 运行不需要基础集合的管理/诊断管道。 db.cloneDatabase(hostname) 不推荐使用。当针对MongoDB 4.0或更早版本运行时，将数据库从远程主机复制到当前主机。针对MongoDB 4.2或更高版本运行时不受支持
2023-04-06 15:46:50
496
原创 mysql-online-ddl是否需要rebuild
源码地址/**/**源码地址/**public :/*/**/**/**/**初次探索源码，有很多地方可能理解的不对，之后会学习些DDL相关的如加MDL锁，rebuild等等的具体操作，欢迎各位大佬指出不足之处。
2023-03-17 19:00:38
858
原创 LINUX-df和du的统计结果不同
有一套TiDB集群，其中tikv的机器出现了磁盘报警，查看之后发现除了数据过多之外，还有node_exporter的日志过大的问题，日志内容如下可以看到，这是因为tidb会无限重启node_exporter，但是9100的端口被占用，所以一直启动不起来。
2023-03-06 15:12:47
138
原创 TIDB-analyze table所引起的Data Too Long问题
我所使用的TIDB版本是4.0.13,对于analyze 产生的data too long的问题有两种，下面分别介绍下两种问题的现象和解决方案。
2023-03-03 18:35:26
584
原创 go- rdb-bigkeys安装与故障解决
注释632-635行，然后提交变更，这里我感觉这快的version校验没有任何意义，且我的go还不太熟悉，所以这里接直接注释了，如果你有更好的办法也可以自己改。将github.com/cupcake/rdb的项目fork到自己的github账户下，只需要在github上对应项目界面点击fork按钮集合。报错原因主要是因为代码对rdb解析的时候获取版本的处理有问题。这样下来就可以正常的运行了。
2023-02-28 18:16:38
612
原创 TIDB-记录一次cdc同步报错处理
具体架构上游是tidb,经由cdc同步到mysql,同步出错的原因是因为不支持的ddl语句，一共有两个ddl同时执行以前总能碰到mysql的DDL在tidb上不支持，这种情况下的DDL是特别注意的，但是tidb用习惯后，没有注意这一点，查了才发现，确实是不支持字段的rename操作，可以通过change column等来达到效果。
2023-02-24 16:45:23
643
原创 aws-cli相关操作
s3:下载数据到本地：# BUCKET1：桶名称# dir/my_images.tar.bz2：s3中的对象# my_images.tar.bz2 复制到本地的名称# aws-cof：aws配置的项目名（将aksk配置到配件里，这样就不用在环境变量中写aksk了）aws s3api get-object --bucket BUCKET1 --key dir/my_images.tar.bz2 my_images.tar.bz2 --profile aws-cof......
2023-02-01 15:23:51
607
原创 mongo-节点出现recovering状态的处理办法
当因为mongod服务挂掉太久，或者因为网络等原因导致副本集成员跟不上oplog，就会变成recovering状态，此时有两种方式可以恢复。
2023-02-01 15:04:55
1976
原创 tidb-There are no matching table names optimizer hint /*+ HASH_JOIN(m1, m2) */
这个在tidb里是一种很常见的bug,是由于执行计划不对导致的查询报错，但是我有三个tidb，其中两个执行计划都是对的（显然这有点问题，但这不是本次讨论的重点），这样就比较好排查了。
2023-01-30 16:13:59
416
原创 mysql-闪回操作
数据库上总会有一些误操作，这时候需要闪回怎么办，有两种情况情况一：二进制日志保留在数据库server层，即通过show binary logs能查到数据库日志情况二：二进制日志不在server层，但对binlog做了备份，如rds的做法。
2023-01-17 14:42:16
756
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人