好记忆也需烂博客

部署 MySQL -> ES 数据同步（mysql 同步到 ES 是支持 多表查询 后把结果同步到ES 中的同一个索引中的）1.服务器：内网ip：192.168.0.60登录name+key实现功能： canal、kafka、es7；canal同步预生产polardb数据到es72.ES7 kafka服务es web 管理url：http://[internet ip]:9800es:公网： [internet ip] 9201内网： 192.168.0.60 9201kaf

**elasticsearch7.9.2 安装配置**1.downloadwget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.9.2-linux-x86_64.tar.gz查看日志：curl 172.16.1.204:9200/_cat/nodes?v2、JDK环境配置。。。省略注意：ElasticSearch对jdk版本要求很严格，我用的jdk11对应ES7.23、修改配置文件：/opt/es

**概述**现在的项目数据量越来越大，全文检索功能使用场景也越来越普遍。而我们一般的生产数据是在mysql，或其它一些数据库，我们的产品数据就是mysql,而又要使用全文检索，所以要把mysql 数据同步到es,再进行全文检索功能。现在简单把数据同步的配置及遇到的问题罗列如下:数据流程图mysql -> adapter -> es安装步骤不再累述，需要安装以下软件。1.安装 es,2.安装 canal.adapter3.安装 canal.deployer4.安装 zo

MySQL5.6 Performance_schema 相关表的说明及架构图架构图 Mysql 5.5 Performance schema Mysql 5.6 Performance schemaMysql 5.7 Performance schema consumer 层次图 Statement 诊断 来源：https://yq.aliyun.com/articles/59262

使用Prometheus+Grafana 监控MySQL/MONGODB 之前就久仰 Prometheus 大名，因为有用zabbix 进行监控，就没去安装它。现在正好用上监控MONGO+MYSQL。服务器端组件： prometheus #服务端alertmanager #预警Grafana #前端展示，客户端组件： node_exporter

MHA 安装手册MHA软件由两部分组成，Manager工具包和Node工具包，具体的说明如下。Manager工具包主要包括以下几个工具：masterha_check_ssh 检查MHA的SSH配置状况masterha_check_repl 检查MySQL复制状况masterha_manger 启动MH

关于cast类型转换后无法使用索引的优化因为表设计时是各开发人员建立的表，同是建立日期字段add_time,有int,还有varchar(50)几种数据类型，如下： （字段有删减）mysql> show create table credit_tender;+--------------------------+------------------------| Ta...

（以下内容均整理自网络）Enhanced Multi-Threaded Slave配置 要开启enhanced multi-threaded slave其实很简单，只需根据如下设置：slaveslave-parallel-type=LOGICAL_CLOCK slave-parallel-workers=16 master_info_repository=TABLE rel...

otter 配置安装架构：10.10.5.109: zookeeper server,manager,node server, destination mysql server ,canal server10.10.5.111 source mysql server测试从source mysql 【源库】中，把数据同步到 【目标库】中。整个otter同步由几部分组成，需要...

近期有一个表多次出现 锁等待时间长的问题,个人认为这个案例值得分享，这里记录一下。 现SQL 如下： update bank_credit SET batch_no = '196139', tx_...

MYSQL从节点延迟问题原因及处理方法mysql 因为异步同步，只能达到最终一致性，而无法达到实时一致性，所以理论是有延迟在所难免。在mysql 5.7 版本实现了多线程同步，缓解了延迟问题，但不可能完全实现实时同步。一、延迟原因大概有以下几点：1.硬件问题主要体现在服务器性能问题上，服务器性能包括主节点和从节点。MYSQL 同步如果配置成 binlog_format=row,从节点一...

从节点同步出错。无法同步，查看错误Last_Error: Coordinator stopped because there were error(s) in the worker(s). The most recent failure being: Worker 0 failed executing transaction ‘1c434876-08ed-11e9-b38c-7cd30aeb7...

一直以来，都是听到 mysql 5.7已 消除了延迟，但我们测试环境主从一直存在延迟。找了很多原因，但一直不理想，直接到找参数：sync_relay_log　，在讨论主从延迟时，很少会说到这个参数。因为它默认是　１００００．也正是这样，容易被忽略。×××××××××××××××××××××××××××××××××××××××××××××××××××××innodb_flush_log_a...

binlog_rows_query_log_events和binlog_row_image 参数作用(mysql 5.6.2 引入)当binlog使用row格式时binlog_rows_query_log_events =1在row模式下开启该参数,将把sql语句打印到binlog日志里面.默认是0(off);虽然将语句放入了binlog,但不会执行这个sql,就相当于注释一样.但对于d...

为了系统的整理MySQL 性能优化方面的知识，这里收集部分好文章，方便自己学习。performance-schema （三）前一篇文章我们分析了Performance-Schema中每个表的用途，以及主要字段的含义，比较侧重于理论的介绍。这篇文章我主要从DBA的角度出发，详细介绍如何通过Performance-Schema得到DBA关心的数据，比如哪个SQL执行次数最多，哪个表访问最频

1.主库性能预警，CPU LOADING 过高 a. 读写分离：把读操作（查询类，不是写入/修改后即查询数据的）放到DB2节点中进行； 2.日志文件、数据文件同放在一个磁盘中 /data ，没有分离 。暂时不处理，以后项目可考虑分开。3.开启了 doublewrite ，在SSD,XFS 磁盘存储数据，可以关闭mysql> show variables like '%doublewri

内存参数：存储引擎/共享日志缓冲区，缓冲区池 oinnodb_buffer_pool_sizeoinnodb_additional_mem_pool_sizeoinnodb_log_buffer_size服务器/共享查询调整缓存线程高速络缓存oquery_cacheotable_cahceotable_definition_cac

以下内容出自《高性能MySQL》第三版，了解事务的ACID及四种隔离级有助于我们更好的理解事务运作。下面举一个银行应用是解释事务必要性的一个经典例子。假如一个银行的数据库有两张表：支票表（checking）和储蓄表（savings）。现在要从用户Jane的支票账户转移200美元到她的储蓄账户，那么至少需要三个步骤：1、检查支票账户的余额高于或者等于200美元。2、从支票账户余额中减去2

近期准备再系统的学习一下MYSQL ，把一些相关的好文章进行转载，以方便学习。

Mysql事务以及加锁机制　　事务的特征ACID，即原子性、一致性、隔离性、持久性。　　原子性保证一个事务为一个最小的单元，内部不可分割；　　一致性保证事务中的每个操作线程不可单独提交，成功则一起提交，不成功则事务回滚；　　隔离性保证不同事务间看到的数据视图相互独立，相互隔离（隔离级别可设置）；　　持久性保证事务提交后数据会持久的保存下来；　　sql规范定义的事务的隔离级别

以下内容为在学习MYSQL 过程中的实验步骤，mysql多实例（mysqld_multi方式） 1.建立各个实例的目录    [root@mdw ~]# mkdir /mnt/data/mysql/3306 /mnt/data/mysql/3307 /mnt/data/mysql/3308 -p    [root@mdw ~]# chown -R mys

MYSQL 实时升级（MYSQL 升级实验内容）步骤如下：准备一台新的服务器，安装mysql5.7 ,再把v5.7 mysql 添加到以v5.6 mysql 为主节点的主从架构集群中。再进行主从切换。设置成mysql5.7 为主节点，这样就完成了MYSQL 的升级。1、mysql 5.7.17 安装2、配置成主从架构3、主从节点切换-----

一、mysqldumper    1.1 mysqldumper 编译安装    wget https://launchpadlibrarian.net/185032423/mydumper-0.6.2.tar.gz    [root@mdw tang]# tar -zxvf mydumper-0.6.2.tar.gz    [root@mdw tang]# cd mydump

1.MySQL参数autocommit生产环境设1还是0？为什么？    在生产环境中，为了事务一致性，需要把autocommit 设置为 0     这样可以进行事务全部成功后，在最后一次性提交，如果某一步出错，可以rollback。        在会话进修改参数命令为：        set @@autocommit=0;     为了永久设置为手

为了系统的整理MYSQL 性能优化方面的知识，这里收集部分好文章，方便自己学习。performance-schemaperformance-schema最早在MYSQL 5.5中出现，而现在5.6，5.7中performance-Schema又添加了更多的监控项，统计信息也更丰富，越来越有ORACLE-AWR统计信息的赶脚，真乃DBA童鞋进行性能诊断分析的福音。本文主要

为了系统的整理MySQL 性能优化方面的知识，这里收集部分好文章，方便自己学习。performance-schema MySQL Performance-Schema中总共包含52个表，主要分为几类：Setup表，Instance表，Wait Event表，Stage Event表Statement Event表，Connection表和Summary表。上一篇文章已经着重讲了Se

今天看到一题MYSQL OCP 试题，关于 AUTO-INC locks ，才知在自增长键值时，是使用表锁。试题如下，同时把相关的资料也转发如下。QUESTION 94Which two statements are true about InnoDB auto-increment locking?A. The auto-increment lock can be a ta

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl

查看锁表情况mysql> show status like ‘Table%’; +—————————-+——–+ | Variable_name | Value | +—————————-+——–+ | Table_locks_immediate | 795505 | | Table_locks_waited | 0 | |

一．Mysql Binlog格式介绍 Mysql binlog日志有三种格式，分别为Statement,MiXED,以及ROW！1.Statement：每一条会修改数据的sql都会记录在binlog中。优点：不需要记录每一行的变化，减少了binlog日志量，节约了IO，提高性能。(相比row能节约多少性能与日志量，这个取决于应用的SQL情况，正常同一条记录修改或者插入row格式所产生的