MYSQL
关注
分享
扫一扫
文章平均质量分 74
布偶猫爸爸
这个作者很懒，什么都没留下…
展开
-
kubernetes 启动MySQL 8.0.22 MGR集群
前言kubernetes一键部署MySQL MGR高可用集群，这里我只写了K8S部署部分的yaml，MySQL一键启用MGR未展示环境树莓派4B8G * 3操作系统：Ubuntu 20.04 arm64kubernetes版本：1.18.5前提需要检查是否和我一样是多节点，在pv、pvc、nodeselector指定MySQL启动节点的时候需要根据自己实际情况指定 pv的文件夹需要在各个节点上先行创建并授予MySQL权限一键部署yaml文件kind: Namesp.原创 2021-02-01 14:08:47 · 988 阅读 · 0 评论 -
MySQL集群闲聊（MGR/主从）
MySQL集群搭建经验 （mgr和主从）官方的集群模式各节点通讯方式都不需要额外的第三方扩展插件既然不需要第三方扩展插件，那么这句话就等价于配置各个节点的通讯都只需要通过命令行或者写配置文件实现；配置文件的本质是把多个想自定义的参数写在同一个地方，面去在命令行启动mysql的时候敲打很长一串参数命令，同样这句话的另一个意义是：MySQL有很多参数变量配，我们可以自定义的调控变量对应的值来调控参数，但默认不能自己随意的添加参数变量（除非定制化开发）；所以变量都是确定的，所有的变量都会有默.原创 2020-07-21 16:53:03 · 2039 阅读 · 0 评论 -
MySQL 慢日志迁移后没有自动创建新的日志文件记录
问题：MySQL5.6/5.7/8.0把慢日志mv迁移到其他路径后没有自动创建新的log文件状态：mysql实例运行正常，没有看到error log，慢日志配置正常，采集时间正常，范围正常；解决：再数据库上执行刷新操作，命令：flush logs原因：需要刷新缓存官方原文：FLUSH LOGSCloses and reopens any log file to which the server is writing. If binary l...原创 2020-07-03 09:34:15 · 450 阅读 · 0 评论 -
mysql 数据归档经验洽谈
归档对于DBA来说是一个非常严肃的话题，但是对于开发来说可能就没有那么的重视，最近我接到开发经理的需求说要归档两个月以前的短信日志；在开发和开发经理看来，短信下发了就下发了，超过60天的数据已经处于完全无用状态，属于可丢弃数据；需求到我这里，我给了两个方案，1、做一个归档数据库，2、文本形式归档其中做归档数据库肯定是比较复杂的，原因有：1、考虑整个平台的通用性，可定要慎重的选型数据库2、一旦选型好了需要搭建、测试、做集群高可用等等前期大量工作3、当归档数据库集群架构好了以后，数.原创 2020-06-05 14:30:13 · 588 阅读 · 0 评论 -
mysql load csv 数据量异常
最近做子公司数据录取，load csv文件发现录入的数据量不对，记录下产生原因和解决过程；load data数据量不对，第一步看什么？mysql load结束后，首先看query 和 records是否一致query是查到的数据量，records是提交的数据量，如果query和records不一致，提交肯定少了，数据导入有问题；如果query和records数据量一致，但是有w...原创 2020-01-10 14:51:03 · 537 阅读 · 0 评论 -
mysqldump 自动备份脚本和日常吐槽
#!/bin/bashpath=/home/mysqlbak/newtime=$(date "+%Y-%m-%d")deletedata=$path$(date -d "6 days ago" +%Y-%m-%d)"_alldatadases.dump"olddata=$(ls $path"*.dump" -tr |head -1 |xargs)$(echo $deletedata ...原创 2020-01-07 14:37:04 · 219 阅读 · 0 评论 -
MYSQL 直接解析json
MySQL 5.7版本以后支持json格式的字段类型定义、存储和使用，最近做BI开发，开发把所需数据用JSON的形式存储在字段中，本次记录下MySQL解析JSON。环境：MySQL 8.0角色：root参考：https://dev.mysql.com/doc/refman/8.0/en/json.html一般来说，主要是提取json字段的值，所以update就...原创 2019-12-05 18:03:59 · 14713 阅读 · 1 评论 -
多实例MySQL安装踩过的坑
上周在测试机上编译安装了一个MySQL做升级测试，本来测试机上就有个cluster集群的单实例，为了不冲突，所以选择了编译安装。编译安装的好处就是能自己控制软件安装的目录，指定默认配置文件地址等，便于磁盘管理，卸载也很方便，文件夹一删就完事。MySQL编译安装需要在官网上下载source源码包，5.7的源码包大约几十兆大小，不过在编译过程中产生的缓存文件有好几个G，这里一定要留足空间...原创 2019-05-13 10:42:22 · 304 阅读 · 0 评论 -
MySQL dump进行5.6迁移升级到5.7踩过的坑
测试库机器主板出现问题总是重启，于是安排了Oracle和MySQL都迁移到新的机器上，Oracle迁移用Rman导出导入就行了，注意要导出archive log和control file，没啥难度。MySQL老的测试机上用的是5.6版本NDB引擎，新的测试机上搭建的5.7的单节点数据，遇到一些坑，记录下避免以后再犯傻。由于老的机器用的5.6是NDB，新的是单节点的innodb，所以在迁移...原创 2019-05-06 14:56:55 · 3190 阅读 · 0 评论 -
MySQL cluster集群/NDB集群学习
公司主业务用的MySQL集群是官方自带的MySQL Cluster，MySQL自带的集群模式，这个集群的模式和MGR、PXC、主从 有点不一样。一、存储引擎不是innodb，MySQL Cluster用的是NDB引擎二、数据存储方式不同，MySQL的其他集群方式数据是存在磁盘上的，中间数据的缓存用rely log纪录，之后持久化的写入要硬盘而MySQL Cluster集群的数据是保存在...原创 2019-04-24 10:15:10 · 2056 阅读 · 0 评论 -
MySQL压力测试/sysbench使用
今天进行了MySQL pxc集群的压测，一般在做项目的时候DBA需要根据业务自定义数据库使用类型，所以在决定阶段，DBA就要根据对业务的预估进行数据库集群的筛选，同时也要对数据库进行压测。压测的目的是为了测试该机器在哪些条件下数据库压力较大，数据库在该机器的瓶颈大概在哪里。而不是说，我要对比那个数据库性能更好，所谓的性能都是在已经定义好物理机的情况下去找更合适的。所以新的物理机理论上在选择和安...原创 2019-04-17 17:46:29 · 1316 阅读 · 0 评论 -
centos7.4搭建MySQL-MHA集群
本次测验实现的是centos7.4+MySQL8.0-mha，为啥是8.0，其实和5.7搭建没啥区别，之前用5.7也实现了，后来DBA老大哥说，用8.0来试试吧，8.0有聚合函数，所以我又重新搭成了8.0版本的mha，本身配置并无区别；由于个人测试机有限，本次实现是在docker容器里搭建的，虽说是容器，但从centos7.4基础镜像开始搭建服务，并指定独立IP和端口，实现配置和物理机并无差异...原创 2019-02-20 13:32:59 · 1466 阅读 · 0 评论 -
MySQL主从结构搭建
昨天按公司要求搭建了一套MySQL主从结构，趁现在还没有忘记，做个笔记巩固学习； 由于保密协议，本文所涉及的参数都是自己本机的测试参数：配置环境：两台新的服务器主机，本次系统是centos7.4；ip1：172.168.0.40 ip2：172.168.0.41主从的概念不做说明：简单结构是一个主机做MySQL服务的主机，另一个主机来做MySQL服务的从机，从机目...原创 2018-09-04 10:27:08 · 18826 阅读 · 4 评论 -
MySQL 亿级数据导入导出/数据迁移笔记
最近MySQL的笔记有点多了，主要是公司Oracle比较稳定维护较少，上周被安排做了一个MySQL亿级数据的迁移，趁此记录下学习笔记；数据迁移，工作原理和技术支持数据导出、BI报表之类的相似，差异较大的地方是导入和导出数据量区别，一般报表数据量不会超过几百万，而做数据迁移，如果是互联网企业经常会涉及到千万级、亿级以上的数据量。导入和导出是两个过程，即使做数据迁移我们也要分开来看，同时...原创 2018-09-09 17:10:49 · 26375 阅读 · 7 评论 -
MySQL job/定时任务/event 学习笔记
由于周末做的数据迁移过程中，对迁移时间段内产生的数据及之后新产生的数据没有做到数据迁移，所以我写了个job让系统定时任务的跑到我的一张临时表，之后通过程序处理数据实现不同独立的数据库之间的数据同步。 程序代码就不做记录，可以用Java、python等都能实现，这次笔记主要记录MySQL event的使用； MySQL的定时任务（简称job）是可以通过MySQL自身实现的，相比较系统...原创 2018-09-10 15:53:12 · 9823 阅读 · 0 评论 -
Oracle/MySQL 数据库优化方案/方向
上周老板说要做一个优化数据库方案，上周没做，周一的周会被批了一顿，前两天出了一个草版方案，这里记录一下当没有经验没有方向没人指导的一个DBA如何着手做个数据库优化方案和具体做法。 大方向：优化无非就：sql优化架构优化硬件性能优化 然而大多数情况下我们不得不面对现实是：架构不能动，不给钱买新机器，只能优化下sql/数据所以实际操作方式是sql优化：1、找...原创 2018-09-14 15:54:39 · 298 阅读 · 0 评论 -
docker下用keepalived+Haproxy实现高可用负载均衡集群
先记录下遇到的坑，避免之后忘了；花时间最多去解决的一个题是：在docker下启动haproxy服务后在这个docker服务内安装keepalived无法ping通的问题，虽然最后也是莫名其妙就好了，但是加强了不少对docker的理解和还需深入学习的地方。 为什么要用keepalived+haproxy实现docker下的高可用负载均衡？在不同环境下有哪些方式可以实现高可用负载均衡？...原创 2018-10-08 21:53:38 · 13529 阅读 · 17 评论 -
docker环境下MYSQL PXC集群热备份和还原
之前搭建了在docker上搭建了一套MySQL的PXC集群，当时没有做备份处理，今天搭建了一套备份方案。MySQL的数据备份方式有很多种，如自带的MySQLDUMP命令，或者直接拷贝数据文件等等方式，但是这些方式都是系统的冷备份，即需要停机服务进行备份，这种方式我没有采用。本次备份方案是热备份，MySQL的热备份的方式有两种：1、LVM 2、xtrabackuplvm是Linux自带的...原创 2018-10-10 14:02:11 · 2467 阅读 · 10 评论 -
MySQL now()/sysdate()效率对比
今天优化sql，遇到一个查询很慢的sql： 查询时间花了接近5分钟，查看发现时间字段都是有索引的，于是查看了下执行计划发现走的是全表扫描，一脸懵，明明有索引啊，为啥没走。查询官方文档： 所以这里看出，sysdate()不会走索引，于是改为now（）：结果走了索引，秒级出现值，所以在MySQL取当前时间的时候，记得一定要用now。...原创 2018-10-17 14:34:05 · 4325 阅读 · 0 评论 -
xtrabackup实现MySQL自动备份
MySQL备份有多种方式，自带有冷备份工具，但是对于生产来说备份不可能停机进行，所以公认目前最好用的是xtrabackup这个工具； xtrabackup目前已经更新到8.0了，在2.4.9及其之前的版本备份所用的命令和2.4.11开始后的版本所用的备份命令有所不同，2.4.9之前的版本备份命令：innobackupex [--defaults-file=#] +参数简单的来...原创 2018-12-14 08:48:17 · 3162 阅读 · 0 评论 -
docker运行datax实现数据同步方案 --docker commit方式测试
公司的归档库正式提出要搭建了，于是纪录搭建归档库的方案和过程。 需要备份的库是生产Oracle主库，由于没有归档机制，公司经过8年时间的运行，对于多个表的数据查询已经累积到十亿级别，查询效率已经很低下了，鉴于数据库的IO压力，我提出了建立归档机制，把长时间不经常使用的数据转移到独立的数据库，保证生产的高效率。 归档方案是吧两年前的数据转移到归档库上，每天定时执行一次。归档库的设...原创 2018-12-29 17:25:34 · 4693 阅读 · 0 评论 -
MySQL docker PXC集群搭建笔记
--------------------------------------------------------------------------------------------------------------------------------------------------------------------9.28笔记重构更新：离记录这个笔记的时间也差不多有一个月了，在...原创 2018-08-30 17:09:09 · 2818 阅读 · 3 评论