weixin_46837396的博客

一、 快速导出1、表的快速导出语法：SELECT... INTO OUTFILE 导出文本文件 要想导出成功，需要设置安全目录才行vim /etc/my.cnf [mysqld]secure-file-priv=/tmp 示例：SELECT * FROM db1.t1 INTO OUTFILE '/tmp/db1_t1.txt' FIELDS TERMINATED BY ',' -- 定义字段分隔符 OPTIONALLY ENCLOSED BY '"

一、下载源码包1.1 下载mysql源码包mkdir /applicationcd /applicationhttps://downloads.mysql.com/archives/get/p/23/file/mysql-5.7.20.tar.gz1.2下载boost下载网址为：http://www.boost.org/users/download/这个版本的MySQL要求boost的版本是1.59，链接为：http://www.boost.org/users/history/versi

安装配置1、安装perl的软件包支持yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL libev2、下载proxySQLhttps://proxysql.com/https://github.com/sysown/proxysql/releases3、 安装[root@oldboy data]# rpm -ivh proxysql-2.0.4-1-centos7.x86_64.

1 . Clone Plugin介绍本地克隆：启动克隆操作的MySQL服务器实例中的数据，克隆到同服务器或同节点上的一个目录里image.png远程克隆：默认情况下，远程克隆操作会删除接受者(recipient)数据目录中的数据，并将其替换为捐赠者(donor)的克隆数据。您也可以将数据克隆到接受者的其他目录，以避免删除现有数据。(可选)image.png2. 原理# PAGE COPY这里有两个动作开启redo archiving功能，从当前点开始存储新增的redo log，

1. 多源复制架构image.png2. 主机角色主机角色地址端口Master110.0.0.513306Master210.0.0.523306Slave10.0.0.5333063. 配置过程3.1 GTID环境准备(1) 清理环境pkill mysqld rm -rf /data/3306/*mv /etc/my.cnf /tmp (2) 创建需要的目录 mkdir -p /data/3306/data /data/3306

MySQL1.1 MySQL 简介及安装，升级1.1.1 数据库产品类型1.1.2 MySQL 企业主流版本1.1.3 升级（就地，迁移）就地：5.6 --> 5.7 mysql_upgrade -uroot -p123 -S5.7 --> 8.0 不再需要以上命令了。1.1.4 安装方法技能： 精通MySQL各分支主流版本，5.6、5.7软件特性1.2 体系结构和管理1.2.1 C/S结构1.2.2 实例1.2.3 mysqld层次结构1.2.4 逻辑结.

1. pt工具安装[root@master ~]# yum install -y percona-toolkit-3.1.0-2.el7.x86_64.rpm2. 常用工具使用介绍2.1 pt-archiver 归档表# 重要参数--limit 100 每次取100行数据用pt-archive处理 --txn-size 100 设置100行为一个事务提交一次， --where 'id<3000' 设置操作条件 --progress 5000

1. MyCAT基础架构图image.png2. MyCAT基础架构准备2.1 环境准备：两台虚拟机 db01 db02每台创建四个mysql实例：3307 3308 3309 33102.2 删除历史环境：pkill mysqldrm -rf /data/330* mv /etc/my.cnf /etc/my.cnf.bak2.3 创建相关目录初始化数据mkdir /data/33{07..10}/data -pmysqld --initialize-insecure --

5.6.44 二进制包安装部署解压到以下目录[root@oldboy ~]# ll /usr/local/mysql56/drwxr-xr-x. 2 root root 4096 Jun 3 11:20 bin-rw-r--r--. 1 7161 31415 17987 Mar 15 15:38 COPYINGdrwxr-xr-x. 3 root root 18 Jun 3 11:19 datadrwxr-xr-x. 2 root root 55 Jun 3 1

MGR介绍基于传统异步复制和半同步复制的缺陷——数据的一致性问题无法保证，MySQL官方在5.7.17版本正式推出组复制（MySQL Group Replication，简称MGR）。由若干个节点共同组成一个复制组，一个事务的提交，必须经过组内大多数节点（N / 2 + 1）决议并通过，才能得以提交。如上图所示，由3个节点组成一个复制组，Consensus层为一致性协议层，在事务提交过程中，发生组间通讯，由2个节点决议(certify)通过这个事务，事务才能够最终得以提交并响应。引入组复制，主要是为了

1. 业务是什么？产品的功能用户的行为（热功能，热数据）2.你们公司用什么版本数据库？5.6.38 5.7.20 3. 你们公司怎么还在用这么低的版本？我们这个业务已经运行了4年了，一直用的5.6版本，非常稳定，所以说暂时没有打算升级。4. GA时间问题漏洞怎么说？答：刚去上家公司不到两年，交接的时候已经运行了2年多了，我接手的时候版本已经是5.6.38 ，应当是做过小版本的升级。5. 我们现在公司用的是5.7，你能胜任吗？能。虽然我们生产中一直使用的5.6，但是我对5.

1. 简介及安装1.1 数据库管理系统类型RDBMS:MySQL ,Oracle,PG ,MSSQLNoSQL: MongoDB,Redis,Memcache,HBASE,Neo4j,ES1.2 MySQL分支Oracle MySQL : InooDBMariaDB :InnoDB,tokuDBPercona: XtraDB1.3 MySQL 版本选择GA 6-12月5.6 : 5.6.34,5.6.36,5.6.385.7 : 5.7.18 ,5.7.20 , 5.7.221

1. 运维在数据库备份恢复方面的职责1.1 设计备份策略全备 、增量、时间、自动1.2 日常备份检查备份存在性备份空间够用否1.3 定期恢复演练(测试库)一季度 或者 半年1.4 故障恢复通过现有备份,能够将数据库恢复到故障之前的时间点. 1.5 迁移1. 停机时间2. 回退方案2. 备份类型2.1 热备在数据库正常业务时,备份数据,并且能够一致性恢复（只能是innodb）对业务影响非常小2.2 温备锁表备份,只能查询不能修改（myisam）影

第一章：逻辑结构Mongodb 逻辑结构 MySQL逻辑结构库database 库集合（collection） 表文档（document） 数据行选择之所以称之为选择,肯定是痛苦的! ------->oldguo 第二章：安装部署

0. NoSQL 产品(key-value)RDBMS ：MySQL，Oracle ，MSSQL，PGNoSQL :Redis,MongoDB，列存储存储相关NewSQL----->分布式数据库架构（学习了MongoDB）缓存产品介绍：memcached （大公司会做二次开发）redisTair1. Redis功能介绍数据类型丰富 （笔试、面试）*****支持持久化 （笔试、面试） *****多种内存分配及回收策略支持事务 （面试）

1.优化哲学1.1 为什么优化？为了获得成就感?为了证实比系统设计者更懂数据库?为了从优化成果来证实优化者更有价值?image.png但通常事实证实的结果往往会和您期待相反！优化有风险，涉足需谨慎！1.2 优化风险优化不总是对一个单纯的环境进行！还很可能是一个复杂的已投产的系统。优化手段本来就有很大的风险，只不过你没能力意识到和预见到！任何的技术可以解决一个问题，但必然存在带来一个问题的风险！对于优化来说解决问题而带来的问题控制在可接受的范围内才是有成果。保持现状或出现更差的

1. Atlas介绍image.pngimage.png Atlas是由 Qihoo 360, Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它是在mysql-proxy 0.8.2版本的基础上，对其进行了优化，增加了一些新的功能特性。360内部使用Atlas运行的mysql业务，每天承载的读写请求数达几十亿条。下载地址https://github.com/Qihoo360/Atlas/releases注意：1、Atlas只能安装运行在64位的系统上2、C

1. 主从复制架构演变介绍1.1 基本结构（1）一主一从（2）一主多从（3）多级主从（4）双主（5）循环复制1.2 高级应用架构演变1.2.1 高性能架构读写分离架构(读性能较高)代码级别MySQL proxy (Atlas,mysql router,proxySQL(percona),maxscale)、amoeba(taobao)xx-dbproxy等。分布式架构(读写性能都提高):分库分表——cobar--->TDDL(头都大了),DRDSMycat---&g

1. 延时从库1.1介绍是我们认为配置的一种特殊从库.人为配置从库和主库延时N小时.1.2 为什么要有延时从数据库故障?物理损坏主从复制非常擅长解决物理损坏.逻辑损坏普通主从复制没办法解决逻辑损坏1.3 配置延时从库SQL线程延时:数据已经写入relaylog中了,SQL线程"慢点"运行一般企业建议3-6小时,具体看公司运维人员对于故障的反应时间mysql>stop slave;mysql>CHANGE MASTER TO MASTER_DELAY = 300;

0.企业高可用性标准 ***0.1 全年无故障率(非计划内故障停机)99.9% ----> 0.001*365*24*60=525.6 min99.99% ----> 0.0001*365*24*60=52.56 min99.999% ----> 0.0001*365*24*60=5.256 min0.2 高可用架构方案负载均衡:有一定的高可用性 LVS Nginx主备系统:有高

1.错误日志(log_error)1.1 作用记录启动\关闭\日常运行过程中,状态信息,警告,错误1.2 错误日志配置默认就是开启的: /数据路径下/hostname.err手工设定:Master [(none)]>select @@log_error;vim /etc/my.cnflog_error=/var/log/mysql.loglog_timestamps=system重启生效show variables like 'log_error';1.3 日志内容查看.

1、简介相当于Linux文件系统，只不过比文件系统强大2、功能了解数据读写数据安全和一致性提高性能热备份自动故障恢复高可用方面支持等.3、存储引擎种类（笔试）3.1 介绍(Oracle MySQL)InnoDBMyISAMMEMORYARCHIVEFEDERATEDEXAMPLEBLACKHOLEMERGENDBCLUSTERCSV3.2 引擎种类查看show engines;存储引擎是作用在表上的，也就意味着，不同的表可以有不同的存储引擎类型。Per

1. 索引作用提供了类似于书中目录的作用,目的是为了优化查询2. 索引的种类(算法)B树索引Hash索引R树Full textGIS 3. B树 基于不同的查找算法分类介绍image.pngB-treeB+Tree 在范围查询方面提供了更好的性能(> < >= <= like)B*Tree4. 在功能上的分类4.1 辅助索引(S)怎么构建B树结构的?(1). 索引是基于表中,列(索引键)的值生成的B树结构(2). 首先提取此列所有的值,进行自动

1、SQL介绍结构化查询语言5.7 以后符合SQL92严格模式通过sql_mode参数来控制2、常用SQL分类DDL：数据定义语言DCL：数据控制语言DML：数据操作语言DQL：数据的查询语言3、数据类型、表属性、字符集3.1 数据类型3.1.1 作用保证数据的准确性和标准性。3.1.2 种类数值类型tinyint ： -128~127int ：-2^31~2^31-1说明：手机号是无法存储到int的。一般是使用char类型来存储收集号字符类型c

一、体系结构1. C/S(客户端/服务端)模型介绍TCP/IP方式（远程、本地）：建议远程使用mysql -uroot -poldboy123 -h 10.0.0.51 -P3306Socket方式(仅本地)：mysql -uroot -poldboy123 -S /tmp/mysql.sock2 实例介绍实例=mysqld后台守护进程+Master Thread +干活的Thread+预分配的内存公司=老板+经理+员工+办公室3 mysqld程序运行原理3.1mysqld的程序

1.什么是数据？数据：文字、图片、视频、、、、、计算机：二进制、16进制的机器语言基于数据的复杂性与重要性的不同，我们有不同的管理方式。那些数据适合存储到数据库？重要性比较高的关系型复杂的2.什么是数据库管理系统？RDBMS:关系型数据库管理系统适用于安全级别高且关系复杂的NoSQL：非关系型数据库数据管理系统适用于高性能存取数据，一般与RDBMS配合使用。针对大数据处理。分布式架构比较适用 。3. 数据库管理系统的种类RDBMS:关系型数据库管理系统MySQL 、O