DBA实战-优快云博客

原创 MySQL批量删除阻塞线程

目录1. 手动获取PROCESSLIST方式2. PT-KILL方式在 MySQL 数据库的日常管理和优化中，进程管理是一项重要的任务。通过监控和适时地终止异常或低效的数据库连接和查询，可以显著提升系统的性能和稳定性。下面介绍几种常见的 MySQL 进程管理场景及相应的处理策略。手动获取PROCESSLIST方式获取示例#查询某个用户的所有线程SELECT concat( 'KILL ', id,...

2024-12-06 07:32:03 292

原创 PostgreSQL数据闪回工具Pg_Dirtyread

目录1、概述2、恢复机制3、优缺点4、安装5、操作实例1）基于表数据Delete闪回2）基于表字段数据闪回3）基于时间点闪回6、支持查询被删除列的历史数据7、注意事项8、总结概述Pg_dirtyread是一个PostgreSQL扩展，它利用了PostgreSQL的多版本并发控制（MVCC）机制来读取未提交的事务所影响的数据。此插件可以用于在开发和测试环境中快速查看事务对数据的即时影响，当关键表中的...

2024-12-05 07:00:30 649

原创知行合一：实践中的技术分享与学习

为了帮助广大技术爱好者、从业者和专家们相互学习、分享经验、解决技术难题，涵盖了数据库、容器化技术、运维、研发、网络以及大数据等领域。本群旨在帮助大家解决容器化数据库部署、管理、监控等方面的问题，分享容器化数据库的最佳实践，讨论容器化数据库的性能、稳定性以及容器编排工具（如 Kubernetes）中的数据库应用。本群专注于大数据存储、计算、分析、可视化等领域，成员们可以在这里讨论 Hadoop、Spark、Flink 等大数据框架的应用，分享大数据处理与分析的最佳实践。期待与大家相见，共同进步！

2024-11-29 16:16:57 400

原创 Mongodb数据统计及数据清除操作命令

目录1. 统计数据库信息2. 统计DB下的集合信息3. 统计DB下的索引信息4. 批量清除数据以下操作是MongoDB中日常常用的一些统计命令，用于查看数据库和集合的基本信息(最好在数据库工具中执行这些命令)：每个数据库的统计信息db.adminCommand("listDatabases").databases.forEach(function (d) { mdb = db.getSi...

2024-11-22 07:01:07 517

原创 Mongodb日常操作命令

目录数据库维护和性能优化故障排除和监控数据一致性检查查看内存查看oplog请求大小限制集合操作聚合操作索引操作日志管理游标复制集相关集群分片相关数据库维护和性能优化：查看数据库状态：db.stats()查看集合状态：db.collection_name.stats()查看索引使用情况：db.collection_name.getIndexes()重新生成集合的索引：db.collection_na...

2024-11-18 11:44:00 615

原创 PostgreSQL核心揭秘(三)-元组结构

目录概述2.堆元组介绍 1）HeapTupleHeaderData 结构 2）空值位图（Null Bitmap） 3）用户数据（User Data）3. 元组增、删、改操作介绍 1）增（INSERT）操作 2）删（DELETE）操作 3）改（UPDATE）操作4.总结概述在PostgreSQL中，堆元组（Heap...

2024-11-05 07:00:30 955

原创 PostgreSQL核心揭秘(二)-进程和内存架构

目录1、进程架构2、进程架构图3、内存架构4、内存架构图PostgreSQL 的进程架构采用了一个多进程的设计，这使其能够有效地管理并发连接和资源。以下是 PostgreSQL 的主要进程架构组成部分的详细描述：1. 主进程（Postmaster）功能：Postmaster 是 PostgreSQL 的主进程，负责启动和管理所有其他进程。它监听客户端连接请求，并为每个连接创建新的后端进程。重要性：...

2024-10-31 07:01:05 1327

原创 PostgreSQL核心揭秘(一)：数据库集簇

PostgreSQL 数据库集簇（Database Cluster）是指一个或多个数据库实例的集合，这些数据库实例共享相同的数据库系统文件和配置。这种设计允许在同一个 PostgreSQL 服务器上管理多个数据库，而每个数据库又可以独立地运行和存储数据。PostgreSQL 数据库集簇的主要特点1. 多数据库管理：一个 PostgreSQL 集簇可以包含多个数据库，用户可以在同一实例中创建和管理多...

2024-10-29 07:33:19 671

原创从零开始学PostgreSQL-工具篇2:碎片回收pg_repack

目录概述安装原理介绍参数详解普通表语法示例分区表和继承表语法示例索引语法示例常见问题概述pg_repack插件对表空间进行重新“包装”，回收碎片空间，有效解决因对表大量更新、删除等操作引起的空间膨胀问题。pg_repack获取排它锁的时间较短，多数时间不阻塞读写，相比CLUSTER或VACUUM FULL操作更加轻量化。安装依赖yum install lz4-devel安装编译[root@test...

2024-10-23 07:00:10 807

原创 WiredTiger 修复mongodb7 集合wt文件

目录1. 概述2. 主要特性3. 安装依赖4.安装wiredtiger5. 找到故障wt文件6. 恢复7. 总结概述WiredTiger 是一个高性能的键值存储和数据引擎，最初由 WiredTiger Inc. 开发，后来被 MongoDB 收购并集成到 MongoDB 中。WiredTiger 提供了高效的数据存储和检索能力，支持多种数据结构和压缩算法，适用于高并发和大规模数据处理场景。主要特性...

2024-10-18 07:00:25 519

原创 MongoDB 7.0.14 副本集部署

目录1. 概述2.节点成员介绍3.工作原理4.下载地址5.部署规划6.部署7.注意事项8.总结概述MongoDB 副本集是一个用于数据高可用性和冗余的集群配置。副本集由多个 MongoDB 实例组成，其中一个是主节点（Primary），其余是从节点（Secondary）。主节点负责所有写入操作，从节点则从主节点复制数据，提供读操作的负载均衡，（主节点-从节点-从节点）(推荐)；如果情况（例如成本）...

2024-10-16 07:00:26 1204 1

原创为什么选择 MongoDB 8.0？四个不可抗拒的理由

目录1、使用MongoDB8.0的4大理由2、兼容性更改3、查询行为变化4、弃用功能5、其他废弃项6、向后不兼容功能7、一般性变更使用 MongoDB 8.0 的 4 大理由1. MongoDB 8.0 比以前快 30% 以上MongoDB 8.0 允许应用程序快速高效地查询和转换数据，从而显著提高性能，吞吐量提高了 36%。MongoDB 8.0 中的架构优化减少了内存使用量和查询时间，并且更高...

2024-10-12 07:04:18 1355

原创 MySQL 灾难恢复利器：ibd2sql

目录1. 简介2. 优缺点3. 参数详解4. 环境依赖5. 安装6. 解析ibd文件7. 使用示例8. 总结简介ibd2sql 是一个使用纯 Python 3 编写的工具，用于离线解析 MySQL InnoDB 存储引擎的 IBD 文件，并将其转换为 SQL 语句。该工具无需任何第三方依赖包，使用 GPL-3.0 许可证发布。优点方便: 提取表的 DDL（数据定义语言）。实用: 支持替换库名（--...

2024-10-10 07:00:10 962

原创 Mongodb7.0.14集群分片部署

目录1. 概述2. 使用场景3. 优缺点4. 节点作用5. 部署规划6. 内存配额7. 配置文件8. 配置集群分片9. 开启认证10. 集群验证11. 总结概述MongoDB 集群分片是一种水平扩展数据库的方法，通过将数据分布在多个物理服务器上，提高系统的性能和可扩展性。分片的核心思想是将数据分成多个部分（称为“分片”），每个分片存储在不同的服务器上，从而分散负载，提高查询和写入性能。使用场景大规...

2024-10-08 14:12:46 1332

原创数据库运维利器：数据迁移、性能监控、数据修复的全面工具汇总

DataXDataX 是阿里巴巴开源的数据同步工具，支持全量、增量，支持多种异构数据源之间的高效数据同步，如 MySQL、Oracle、SQL Server、HDFS、Hive 等。它提供了图形化配置界面，使用户能够轻松完成数据迁移任务。详细信息请点击DataX 异构数据迁移工具、DataX-Web 页面轻松操作进行参考RedisShakeRedisShake 是一款高效的 Redis 数据迁...

2024-09-27 10:40:12 1354

原创 Mysql8.4基于GTID主从部署以及故障修复

目录1.从节点部署2.从节点导入数据3. 不同步导入数据(GTID_PURGED)4. 建立主从关系5. 主从关系重置6. 跳过指定GTID(GTID_NEXT)简介MySQL 8.4是一个稳定和高性能的关系型数据库管理系统，支持各种操作系统平台，包括Linux、Windows和macOS。部署MySQL 8.4通常包括安装、配置、优化和测试等步骤安装步骤MySQL 8.0 及以上版本8.4可以通...

2024-09-26 07:00:46 838

原创 Elasticsearch8.14.3更换自带的openjdk版本

目录1. 背景2. 当前版本3. 安装指定版本4. 配置环境变量5. 重启6. 验证当前版本7. 总结概述：为何更换 Elasticsearch 集群中的 JDK 版本背景在部署的 Elasticsearch 集群中，我们遇到了频繁的 CPU 使用率飙升问题，导致某些节点宕机。这种情况不仅影响了集群的稳定性和可靠性，还增加了维护成本和潜在的数据丢失风险。为了改善这种情况，我们决定更换 Elasti...

2024-09-19 07:00:08 571

原创从零开始学PostgreSQL-工具篇：备份与恢复

目录1、概述2、pg_dump3、pg_dumpall4、pg_restore5、pg_basebackup6、总结概述PostgreSQL 提供了一系列强大的工具来备份和恢复数据库。这些工具包括 pg_dump, pg_restore,pg_dumpall,pg_basebackup。下面是这些工具的简要概述和一些注意事项：1. pg_dump概述：pg_dump 是一个用于备份单个 Postg...

2024-09-13 07:28:07 693

原创从零开始学PostgreSQL (十四)：高级功能

目录1. 简介2. 视图3. 外键4. 事务5. 窗口函数6. 继承7. 结论简介PostgreSQL是一个强大且开源的关系型数据库管理系统，以其稳定性、功能丰富性和对SQL标准的广泛支持而闻名。它不仅提供了传统的关系型数据库功能，如事务处理、外键约束和视图，还引入了许多高级特性，如窗口函数、事务和复杂的查询语言扩展。PostgreSQL的设计理念强调数据完整性和一致性，使其成为需要高性能和高可靠...

2024-09-12 07:00:16 1044

原创 MongoDB 从4.4到7.0各个版本特性概览

速览本文将从以下方面介绍数据库 MongoDB 4.4、5.0、6.0、7.0版本：MongoDB4.4 新特性隐藏索引（Hidden Indexes）重定义分片键（Refinable Shard Keys）复合哈希分片键（Compound Hashed Shard Keys）对冲读（Hedged Reads）同步建索引（Simultaneous Indexing）复制读请求（Mirrored R...

2024-08-23 07:00:48 3726

原创从零开始学PostgreSQL (十三)：并行查询

目录概述1. 并行查询的工作原理2. 什么时候可以使用并行查询？3. 并行计划3.1. 并行扫描3.2. 并行连接3.3. 并行聚合3.4. 并行追加3.5. 并行计划提示4. 并行安全4.1. 函数和聚合的并行标签5. 注意事项6. 总结概述并行查询是PostgreSQL提供的一种功能，它允许查询在多个CPU核心或处理器上同时执行，从而显著提高查询性能，特别是在处理大型数据集时。并行查询的设计目...

2024-08-21 08:07:41 1127

原创网易云音乐崩了？官方回应

8月19日，不少网友反馈，网易云音乐疑似崩溃。进入官网直接502了广大网友现在比较关注怎么赔偿的问题，是补偿一个月的VIP，还是一年的VIP ？你是VIP用户吗？你想要怎样的赔偿？请留言...

2024-08-19 16:27:03 169

原创从零开始学PostgreSQL (十二)：高效批量写入数据库

目录概述禁用自动提交使用 COPY删除索引删除外键约束增加maintenance_work_mem增加max_wal_size禁用 WAL 存档和流复制之后运行 ANALYZE关于pg_dump的一些注意事项非持久设置注意事项总结概述当需要在PostgreSQL数据库中大规模填充数据时，采用正确的策略至关重要。以下是提高数据加载效率的九个关键步骤：禁用自动提交：自动提交会为每次SQL语句结束时强制...

2024-08-19 07:00:17 1042

原创 MySqlDump导致数据页缓存失效，如何避免失效与业务响应下降？

问题背景运营反馈服务的某个页面响应偶尔特别慢，响应时间大概是16S,重新刷新或关闭页面再次打开秒级响应。询问这是什么情况？问题排查1）查看慢SQL日志,该语句扫描264万数据，执行耗时17S# Query_time: 17.499659 Lock_time: 0.000091 Rows_sent: 1 Rows_examined: 2646949SELECT IFNULL( SUM( de...

2024-08-15 07:04:02 458

原创从零开始学PostgreSQL (十一)：并发控制

目录1. 概述2. 事务隔离3. 显式锁定4. 数据一致性检查6.序列化失败处理7. 注意事项8. 锁定和索引9. 总结概述事务隔离: PostgreSQL支持多种事务隔离级别，包括Read Committed（读已提交）、Repeatable Read（可重复读）和Serializable（可串行化），用于控制事务间数据的一致性和并发行为。明确锁定:表级锁定（Table-Level Locks）...

2024-08-07 07:00:07 1103

原创 MongoDB 6.0.3分片Sharding与平衡策略的变化

速览1、分片机制概述2、平衡策略变化3、迁移阈值与Chunk的变化4、开启集合分片变化5、集合分片查询变化6、总结分片机制概述MongoDB 的分片是一种水平扩展技术，用于将大型数据集分割成更小的部分，分布在网络中的多个服务器（即分片）上，以提高性能和可扩展性。分片机制的核心是将数据块（chunks）分散到不同的分片上，以便实现负载均衡。平衡策略变化自MongoDB 6.0.3版本起，分片集群中数...

2024-08-06 07:10:22 609

原创从零开始学PostgreSQL (十)：磁盘使用情况

目录1、PostgreSQL磁盘管理和故障处理2、磁盘使用情况3、磁盘满导致的故障4、应急措施与优化方案5、注意事项6、总结PostgreSQL 磁盘管理和故障处理磁盘使用情况每个表都有一个主堆磁盘文件，其中大部分数据都存储在那里。如果表有任何可能包含大量值的列，则也可能存在一个与该表相关的TOAST文件，用于存储不适合舒适地放入主表中的宽值。如果存在TOAST表，则会有一个有效的索引。此外，主表...

2024-08-05 07:10:18 1115

原创从零开始学PostgreSQL (九)：任务进度报告

目录1、PostgreSQL 维护任务进度报告概述2、ANALYZE进度报告3、CLUSTER和VACUUM FULL进度报告4、COPY进度报告5、CREATE INDEX进度报告6、VACUUM进度报告7、基础备份进度报告8、注意事项9、总结PostgreSQL 维护任务进度报告概述PostgreSQL 提供了一系列的工具和视图来帮助数据库管理员监控各种维护任务的进度。1. AN...

2024-08-01 07:31:51 496

原创从零开始学PostgreSQL (八)：监控数据库动态

目录1、统计信息概述2、统计信息视图3、查看锁4、终止锁定事务统计信息概述PostgreSQL 提供了一套丰富的统计信息收集和报告机制，用于监控数据库的运行状况和性能。以下是这些机制的一些关键要点：统计信息收集配置track_activities: 控制对服务器进程当前活动的监控。track_counts: 决定是否收集表和索引访问的累积统计信息。track_functions: 跟踪用户定义函数...

2024-07-30 07:30:19 442

原创从零开始学PostgreSQL (七)：高可用性、负载平衡和复制

目录1. 不同解决方案的比较2. 备用服务器3. 流复制4. 复制插槽5. 级联复制6. 同步复制7. 待机状态下的连续存档8. 注意事项9.总结在PostgreSQL中实现高可用性（HA）有多种方法，每种方法都有其特定的应用场景和优势。以下是针对不同解决方案的比较，以及对日志传送备用服务器和相关配置的总结：不同解决方案的比较特征共享磁盘文件系统备份预写日志传送逻辑复制基于触发器的ReplSQL...

2024-07-29 07:20:18 452

原创突袭收费！卖家炸锅，二手市场风云再起！

7月26日，二手交易平台闲鱼发布了一项新政策，宣布将从2024年9月1日起对卖家收取服务费用。根据新政策：基础服务费：所有卖家将被收取0.6%的基础软件服务费，每笔交易最高不超过60元。额外服务费：对于同一自然月内成交订单数量超过10件且总成交金额超过10000元的卖家，超出部分的每一笔订单还将按实际成交额的1%收取额外的服务费。这一政策调整将于2024年8月9日开始生效，并在9月1日正式实施。公...

2024-07-28 09:51:56 425

原创从零开始学PostgreSQL (六)：备份和恢复

目录1. SQL 转储1.1. 恢复转储1.2. 使用 pg_dumpall1.3. 处理大型数据库2. 文件系统级备份3. 连续存档和时间点恢复（PITR）3.1. 设置 WAL 归档3.2. 进行基础备份3.3. 使用低级 API 进行基础备份3.4. 使用连续归档备份进行恢复3.5. 时间线3.6. 提示和示例3.7. 注意事项概述PostgreSQL 提供了多种备份和恢复策略，旨在满足不...

2024-07-25 07:31:22 856

原创 mongoshake迁移工具的常见问题

大家在使用mongoshake中遇到了很多问题，我这里对这些问题进行了总结，以更好的帮助大家在遇到问题时可以快速定位问题根源。如果还有其他新的问题，可以直接在评论区进行评论，会进行问题解答的。Q. mongoshake是否会同步集合分片配置A:不会同步，需要在同步前提前创建好Q. 源端库没有开启集合分片，目标端是否可以开启集合分片A:可以，需要在目标端前提前创建集合分片Q. ...

2024-07-23 10:45:29 1000

原创从零开始学PostgreSQL (五)：日常数据库维护任务

目录1. 常规VACUUM 1.1. VACUUM基础 1.2. 恢复磁盘空间 1.3. 更新 Planner 统计信息 1.4. 更新可见性地图 1.5. 防止事务 ID 环绕失败 1.6. Autovacuum 守护程序2. 例行重索引3. 日志文件维护4.总结数据库维护任务概述PostgreSQL 数据库的维护是确保数据库高效、可靠运行的关键。维护任务可以分为几个关...

2024-07-23 07:30:26 929

原创蓝屏风暴：Windows遭遇史上最大规模系统崩溃

**根本原因**：后端集群管理工作流程中的一项配置变更，意外地阻碍了Azure存储集群与美国中部区域计算资源之间的后端访问。- **直接后果**：计算资源在检测到与虚拟磁盘的连接丢失时自动重启，导致服务不稳定。- **缓解措施**：实施了针对所有Azure存储集群的紧急补救措施，以恢复服务。- **系统改进**：评估并增强自动化重启逻辑，优化配置变更的测试和部署流程。- **彻底调查**：深入分析根本原因，防止未来再次发生类似事件。- **客户服务**：与受影响客户沟通，提供必要的支持和补偿措施。

2024-07-19 16:00:10 680

空空如也

空空如也