筑梦之路

这里主要使用sysbench工具对Pgsql数据库进行基准测试。

MariaDB 官方yum源里面只有目前在维护的版本，而有时候对于老项目来说还是需要老版本的rpm包，国内很多镜像站都是同步的官方仓库，因此下载老版本也不好找，这里主要记录下从哪里可以下载到历史版本的MariaDB rpm包。随着时间的推移，老版本会逐渐被清理，因此还是推荐尽快升级更新到官方支持维护的版本。

与业务确认涉及业务、数据库IP、数据误删除时间点、数据删除涉及的SCHEMA、数据表，确认该数据库为MySQLdump备份方式，备份策略为每日凌晨1点进行数据库全备份，备份保留7天，业务误删除数据时间点为当日10点左右，与开发、业务人员确认后选择当日1点备份下发至数据恢复环境准备恢复。

redis响应延迟耗时多长判定为慢？比如机器硬件配置比较差，响应延迟10毫秒，就认为是慢，机器硬件配置比较高，响应延迟0.5毫秒，就认为是慢。这个没有固定的标准，只有了解了你的 Redis 在生产环境服务器上的基准性能，才能进一步评估，当其延迟达到什么程度时，才认为 Redis 确实变慢了。

pg_duckdb是一种强大的扩展，特别适合数据分析、外部数据集成以及需要高性能查询的场景。通过它，用户可以在 PostgreSQL 的生态中轻松引入 DuckDB 的能力，进一步扩展数据库的应用范围。是一个扩展模块，旨在将 PostgreSQL 和 DuckDB 结合使用，提供了一种在 PostgreSQL 中访问 DuckDB 功能的途径。，其特点是高性能、开箱即用且支持多种分析功能。

【代码】mariadb自签证书启用TLS加密连接 —— 筑梦之路。

https://www.51cto.com/article/786010.html

MySQL的二进制日志binlog可以说是MySQL最重要的日志，它记录了所有的DDL和DML语句（除了数据查询语句select）,以事件形式记录，还包含语句所执行的消耗的时间，MySQL的二进制日志是事务安全型的。----Data Definition Language 数据库定义语言主要的命令有create、alter、drop等，ddl主要是用在定义或改变表(table)的结构,数据类型，表之间的连接和约束等初始工作上，他们大多在建表时候使用。

通常我们只需要执行show processlist 进行查看，一般执行时间最长的SQL八九不离十就是罪魁祸首，但当show processlist的输出有近千条，那么很难第一眼就发现有问题的SQL，那么如何快速找到呢？那么我们可以使用top获取mysqld进程的各个线程的cpu使用情况。可以看到是线程22682占用cpu比较高，接着通过查看performance_schema.threads表，找到相关SQL。找到processlist id以后，就可以直接使用命令kill。

是一个基于zk、etcd、consul等的pg ha模板，可以使用python来创建和定制高可用性解决方案。Patroni使用分布式key-value数据库作为数据存储，主节点故障时进行主节点重新选举。通过PG内置的流复制，支持同步和异步复制。由于数据库信息记录在ETCD中，

压测，即压力测试，是指对计算机系统、软件应用或网络服务等进行负载测试，以模拟实际使用场景中的高负载情况，检验系统在压力下的性能、稳定性和可靠性。压测旨在确定系统在正常或极端负载下的性能极限，以便在生产环境中提供最佳的性能和可靠性。

ES集群调优参考建议Elasticsearch使用方式调优本文摘自一次看完28个关于ES的性能调优技巧，感谢大佬的分享，向大佬学习。

日常我们对mysql数据库、mariadb数据库进行定时备份，而随着时间增长，导出来的备份文件越来越大，使用备份sql文件进行还原的时候，大文件非常慢，有些要执行很长时间，效率很低。

用于将大型MySQL转储拆分为可独立执行的小型SQL文件。

DrawDB是一款多功能且用户友好的在线工具，允许用户轻松设计数据库实体关系。通过简单直观的界面，DrawDB使用户能够创建图表、导出SQL脚本、自定义编辑环境，而无需创建账户。DrawDB通过提供数据库模式中实体关系的视觉表现，简化了数据库设计过程。用户可以轻松创建表格、定义列、建立关系，并且仅需点击几下就可以生成SQL脚本。该工具直观的界面适合初学者和经验丰富的数据库设计师，提供了一个设计复杂数据库结构的流畅体验。

MyFlash是由美团点评公司技术工程部开发维护的一个回滚DML操作的工具。该工具通过解析v4版本的binlog，完成回滚操作。相对已有的回滚工具，其增加了更多的过滤选项，让回滚更加容易。

一张大表，我们姑且说1亿条记录，原表我要保存近7天的数据。Percona pt-archiver工具是这样做的，逐条把历史数据insert到归档表，同时删除原表数据。7天数据比如说只有10万行，那么原表会直接删除9990万行记录，操作成本太高，固需要考虑重构。重构版是这样做的，提取你要保留的7天数据至临时表，然后老表和临时表交换名字，这样大大缩减了可用时间。针对mysql 5.7特别说明。

闪回查询（Flashback Query）是一种在数据库中执行时间点查询的技术。它允许查询数据库中过去某个时间点的数据状态，并返回相应的查询结果。通常闪回查询分为表级以及行级的闪回查询。PostgreSQL数据库由于MVCC的机制，对于DML的操作，更改或者删除的元祖暂时标记为死元祖并未真正的在物理上清理，直到vacuum运行时才清理这些死元祖，这为行级的闪回查询提供了可能。

pg_rman是一款开源的备份恢复软件，支持在线和基于PITR的备份恢复方式。pg_rman类似于oracle的rman，可以进行全量、增量、归档日志的备份。

PG一般有两种备份方式：逻辑备份和物理备份逻辑备份对于数据量大的场景下耗时较长，恢复也会耗时较长物理备份拷贝文件的方式相对来说耗时较短，跟磁盘读写性能和网络传输性能有关。

插件的使用通常涉及到版本兼容性，因此在选择和安装插件时，请确保查看插件的官方文档并确认其与 Elasticsearch 版本的兼容性。2、HQ：提供了一个 Web 界面，用于监控 Elasticsearch 集群的健康和性能。：提供了一个简单的 Web 界面，用于监控和管理 Elasticsearch 集群。：提供高级的身份验证和授权功能，用于加强 Elasticsearch 的安全性。：Elasticsearch 自带的插件，用于创建和还原索引的快照。：适用于中文分词的插件，提供了针对中文文本的分析器。

Mysql查询性能优化要从三个方面考虑，库表结构优化、索引优化和查询优化。

Etcd 是 CoreOS 团队于2013年6月发起的开源项目，它的目标是构建一个高可用的分布式键值(key-value)数据库。etcd内部采用raft协议作为一致性算法，Etcd基于 Go 语言实现。名字由来，它源于两个方面，unix的“/etc”文件夹和分布式系统(“D”istribute system)的D，组合在一起表示etcd是用于存储分布式配置的信息存储服务。

•OpenSearch 是一款开源的分布式搜索引擎(从 ElasticSearch 特定版本分叉而来)，可以执行快速、可扩展的全文搜索、应用程序和基础设施监控、安全和事件信息管理、运营健康跟踪等用例。•OpenSearch 具有多种功能和插件，可以帮助索引、保护、监控和分析数据。•OpenSearch 包含一个演示配置，以便您可以快速启动和运行，但在生产环境中使用 OpenSearch 之前，您必须使用自己的证书、身份验证方法、用户和密码手动配置安全插件。

pt-archiver 是一个用于 MySQL 数据归档和清理的强大工具。它可以将旧数据从原表移动到归档表，同时保持原表的性能不受影响。

这里主要使用了elasticsearch的接口。

linux系统内核要求4.19以上；

使用redis-cli连接到host2服务器，执行restore命令将键值恢复到host2服务器，ttl=0代表永不过期。使用redis-cli连接到host1服务器，n代表database，执行keys "*"命令获取所有键名。对于每个键名，使用redis-cli连接到host1服务器，执行dump命令将键值序列化输出。使用perl -pe 'chomp if eof'命令处理输出结果，去除换行符。使用while read key循环读取每个键名。废话不多说，直接上脚本。

免费的闯关式 SQL 自学教程网站，从 0 到 1 带大家掌握常用 SQL 语法，目前一共有 30 多个关卡，希望你在通关的时候，变身为一个 SQL 高手。除了闯关模式之外，这个项目支持自由选择关卡、自定义关卡、SQL 在线练习广场等功能，方便自由地查漏补缺。GitHub 地址→。

【代码】loTDB数据库常用SQL语句搜集 —— 筑梦之路。

IoTDB 是针对时间序列数据收集、存储与分析一体化的数据管理引擎。具有体量轻、性能高、易使用的特点，适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求，同时包含数据订阅、数据同步、负载均衡和运维监控功能。由清华大学软件学院设计开发。

EFAK，以前称为）是一款由国内公司开源的Kafka集群监控系统，可以用来，并进行可视化图表展示。独特的KQL还可以通过SQL在线查询kafka中的数据。

MQTT（Message Queuing Telemetry Transport，消息队列遥测传输协议），是一种基于发布/订阅（publish/subscribe）模式的"轻量级"通讯协议。客户端服务端一个使用MQTT协议的应用程序或者设备，它总是建立到服务器的网络连接。客户端可以：也称为"消息代理"（Broker），可以是一个应用程序或一台设备。它是位于消息发布者和订阅者之间，它可以：- （1）发布其他客户端可能会订阅的信息；- （1）接受来自客户的网络连接；

一键部署mongodb 数据库单节点

总体而言，Etcd在云原生应用和分布式系统中发挥着重要作用，提供了可靠的分布式存储和协调服务，为应用程序提供一致性、可靠性和高可用性的基础设施支持。轻量级： Etcd采用轻量级的Raft一致性算法，以确保集群中的节点之间达成一致，同时保持相对较低的性能开销。分布式存储： Etcd的数据存储是分布式的，可以跨多个节点进行分布，确保高可用性和可扩展性。集群协调： Etcd在构建分布式系统中，作为集群协调的关键组件，确保系统的一致性和稳定性。

mysql 5.7及以上。

数据表中增加两个字段，create_time、 update_time 分别记录数据插入时间、数据更新时间字段类型使用timestamp。

4、有序集合（Sorted Set）：有序集合类似于集合，但每个元素都关联一个分数（score），用于排序。常用操作：添加元素、删除元素、查找元素、按分数范围获取元素等。常用操作：设置位、获取位、计算位的操作（AND、OR、XOR等）。常用操作：添加元素、删除元素、查找元素、集合运算（交集、并集、差集）等。常用操作：设置字段值、获取字段值、删除字段、获取所有字段等。常用操作：设置值、获取值、追加、自增自减等。常用操作：从头或尾部添加元素、获取元素、删除元素、截取等。

3. 查看写锁：find . -name write.lock > lock_list.txt。2. 找到相应的数据目录，找到对应的索引写锁文件write.lock所在位置，删除该文件。这是ES异常关闭导致索引的写锁未释放，索引一直处于red状态。如果有很多个索引都是该报错，可以使用批量处理的方法。2. 进入数据目录：cd nodes/0/

随手一记：生成密码的密文sha256加密。一、 docker方式。