隔壁老王156-优快云博客

原创 mysql完整备份策略

innobackupex完整备份策略：全量备份：每周日/每月1日/每年最后一天（分别保留1月/1年/5年）增量备份：除全备的每天日志备份：每小时：https://blog.youkuaiyun.com/u010587433/article/details/81284359#!/bin/bash. /etc/profileweek=`date +%A`today=`date +%Y%m%d`month=`date -d "${today}" +%Y%m01`year=`date -d "${toda

2021-02-20 16:13:23 183

原创 tidb实时同步到mysql

客户要求实时同步表的数据到mysql，但这个表在tidb。测试直接通过tidb cdc写入到mysql，有些字段是null，所以中间加了一个kafka实现。

2025-02-20 15:26:10 365

原创 postgresql实时同步数据表mysql

应客户要求，需要同步数据到他们自己的数据库用于简单的数据分析，但这部分数据在postgresql，客户又不想再建pg，想直接同步到他们现有的mysql库，实时性倒是不要求。考虑到1、异构数据库同步2、只同步指定客户的行数据有之前同步到es的经验，同样使用了腾讯oceanus，其它工具没搞定。

2025-02-20 14:44:44 413

原创 mysql实时同步到es

测试了多个方案同步，最终选择oceanu产品，底层基于Flink cdc1、实时性能够保证，binlog量很大时也不产生延迟2、配置SQL即可完成，操作上简单下面示例mysql的100张分表实时同步到es，优化备注等文本字段的like查询。

2025-02-20 13:51:14 511

原创 mongo修改副本集名称

所有业务都放在一个mongo实例，导致一个业务出问题，影响所有业务。于是进行拆分。拆分通过在原来副本集添加节点，数据同步好之后，然后进行切换。副本集名称以业务命名，为了和业务保持一致，修改副本集名。最后新的副本集自己添加节点即可。修改副本集名称过程：原来replicset name是dbavar newId = 'dba_new'var doc = db.getSiblingDB("local").system.replset.findOne()var

2021-07-21 16:25:01 665

原创 order by和distinct导致结果显示顺序有问题

SQL如下SELECT DISTINCT a.id, a.numFROM aLEFT JOIN d ON a.id = d.stockIdWHERE a.cid = 156662AND a.status = 3AND d.wid IN ( 123,)ORDER BY a.num DESCLIMIT 0,10 分析去掉limit，查看num大于0的值很多，怎么会取不到？结果显示，distinct对id进行了重新排序导致，最

2021-07-21 15:34:15 2362 1

原创 sql拼接错误直到数据全部删除

起引订单表的扩展表，在配货转发货过程中会删除配货库数据后，插入到发货库。但一直有数据在没有转移的情况下也被删除。查找通过解析binlog和审计，最终查到DELETE FROM order.order_extend WHERE 1234开始以为sql审计有问题，后来发现该语句效果同where 1=1，直接导致全表删除。解决使用binlog2sql回滚数据；修复sql拼接错误。...

2021-07-14 18:11:05 266

原创 canal实时同步mysql表到es

方案说明canal是阿里云开源的解析binlog组件，同步到ES需要deployer和adapter两部分：deployer解析MySQL binlog，adapter将数据写入到ES优点开源成熟稳定简单易用缺点不支持全量数据初始化部署logstash进行全量/etc/hosts配置es7.test.com域名解析deployerwget https://github.com/alibaba/canal/releases/download/canal-1.1.5/canal.deploy

2021-06-25 16:08:52 802 5

原创 clickhouse使用问题记录

mysql引擎 create table t_mysql( id Int32, name String,) engine = MySQL('127.0.0.1:3306', 'test', 't', 'root', '123456');mysql进行ddl: alter table t modify name int ,add age tinyint;mysql添加、修改my

2021-06-24 21:52:36 489

原创 SQL优化—in

原始SQL（执行时间80s+）SELECT count(id) as id FROM task WHERE cid=100015 AND sid IN(112310,112316,106959,110780,112324,112331,112317) AND flag='9'优化后SQL（平均执行时间100ms）select sum(id) as id from (SELECT count(*) as id FROM task WHERE AND cid=123

2021-06-22 22:05:18 1137

原创 SQL优化案例—or改为union

原始SQL（平均执行时间2s+）SELECT DISTINCT sidFROM testWHERE cid = 123456AND ( (eid = 7890123) OR sid IN ( SELECT sid FROM test WHERE cid = 123456 GROUP BY sid .

2021-06-22 21:25:28 1318

原创 mysql gh-ost导致自增id重复

mysql表变更gh-osh相比pt-online-schema-change稳定，但使用过程也存在问题：导致自增重置业务表id字段自增，同时会有delete，如果使用gh-ost之前刚刚进行了delete操作，直接导致表id自增重置（效果同8.0以下版本，mysql服务器重启）表访问频繁更新频繁更新产生的锁，失最后一步重试几次后失败，从而进程关闭，生成中间表_gho和_ghc也没有删除本文由博客一文多发平台 OpenWrite 发布！...

2021-06-21 22:10:33 244

原创 mongo变更数据类型

mongo写入加了引号，导致一些数值字段都是string类型，修改字段类型为数值型。db.Report99.find().forEach( function(doc){ db.Report99.update({'_id': doc._id},{$set:{"begin-quantity": parseFloat(doc["begin-quantity"])}}); //改为浮点数 db.Report99.upd

2021-06-21 21:09:08 705

原创 mysql参数之skip_networking

该变量控制是否关闭TCP/IP连接，默认允许，如果启用，则只能本地socker连接。如果只是本地客户端连接，强烈建议开启。

2021-02-25 15:02:40 3364

原创 mysql参数之skip_name_resolve

全局，不能动态修改，默认为OFF客户端连接时是否解析主机名，默认解析，增加了连接时间。建议开启，禁止解析主机名，减少连接创建时间。另外一个参数：skip_host_cache主机名缓存，以加快解析，禁用后客户端连接每次查找DNS。同host_cache_size=0，但host_cache_size更为灵活，因为可以运行时调整大小，启用或禁用主机缓存。...

2021-02-25 14:54:19 1712

原创 mysql参数之thread_cache_size

全局，动态，默认值-1表示自动调整大小，公式：8 + (max_connections / 100)。最小值0，最大值16384，查看当前：MySQL [(none)]> show variables like 'thread_cach%';+-------------------+-------+| Variable_name | Value |+-------------------+-------+| thread_cache_size | 64 |+--------

2021-02-20 15:56:00 1561

原创 mysql参数之key_buffer_size

全局的（非单个连接），只针对MyISAM引擎的索引缓存，对MyISAM表性能影响较大。对于8.0之前版本，即使不使用该引擎，系统表也是用的MyISAM引擎，默认值（8M）,最好在my.cnf调高该值。[mysqld]key_buffer_size=128M查看大小：show variables like 'key_buffer%';+-----------------+----------+| Variable_name | Value |+-----------------+--

2021-02-20 15:47:21 2762

原创 sqlserver varchar(max)性能问题

同一个站点下有多个项目，其中一个项目的页面空白，且后台报错如下：2018-08-23 15:38:52,811 [66] ERROR logerror - 【Error】:System.Data.Entity.Core.EntityCommandExecutionException: An error occurred while executing the command definit...

2018-08-28 11:28:03 12084

原创 python备份binlog

mysql备份每天进行一次全备份，服务器故障后，没有binlog的情况下，存在一天的数据丢失情况，所以每一小时或几小时备份binlog到备份服务器。当然，有主从可不备份binlog。#!/usr/bin/python#--*-- coding:utf-8 --*--import osimport timeimport loggingfrom datetime import da...

2018-07-30 14:31:59 482

原创 python备份mysql

#!/usr/bin/python#--*-- coding:utf-8 --*--import osimport timeimport loggingimport MySQLdb as mdbfrom datetime import datetime# LOG INFOlog='/data/scripts/logs/'isExists = os.path.exists(l...

2018-07-30 14:12:37 903

原创 python还原SQL Server

1、还原数据库resore_db.py# coding=utf-8import os,sys,time,random,datetimefrom base.db import MSSQLfrom base.logger import logger# 分隔符delimiter = "-" * 100# 日志logname = os.path.basename(sys.argv...

2018-07-30 14:04:32 935

原创 python收缩SQL Server事务日志

开发测试环境日志文件没有定期维护，越来越大，甚至比数据文件还大，所以定期进行日志收缩：def shrinklog(ip,mark): ms = MSSQL(host=ip,user="dumper",pwd="123456",db="master") # 要收缩数据库 query = "SELECT name FROM Master..SysDatabases Whe...

2018-07-30 13:51:06 328

原创 python多线程备份SQL Server事务日志

python连接SQL Server需要pymssql，安装pymssql参考https://mp.youkuaiyun.com/postedit/81283149#--*-- coding:utf-8 --*--# 备份SQL Server事务日志，每小时一次import os,time,loggingimport pymssqlimport threadingfrom datetime ...

2018-07-30 13:20:14 307

原创 pymssql for linux

linux连接SQL Server，pymssql安装包下载，链接：https://pan.baidu.com/s/1zXyhvatpoaFRpcptmv0reA 密码：y3w1安装如下：yum install python-devel -ytar zxf pytz-2018.4.tar.gz cd pytz-2018.4python setup.py installcdta...

2018-07-30 13:13:32 732

原创 python多线程备份SQL Server

依赖:pyhon 2.7 pymssql 依赖包下载及安装，链接：https://pan.baidu.com/s/1B-kNbNGPcWcpoIzql7TKuQ 密码：ikzxt备份脚本如下：#--*-- coding:utf-8 --*--# 多线程备份所有SQL Server数据库（有多少服务器就开多少个线程）# 周日全备份，其它时间差异备份，事务日志备份工作日每小时备份一...

2018-07-30 12:48:14 897

原创 kafka-manger监控部署

部署了maxwell后，监控kafka的producer maxwell及consumer消费情况。提前：修改kafka-server-start.sh并重启kafka，添加export JMX_PORT="9999"，如下：if [ "x$KAFKA_HEAP_OPTS" = "x" ]; thenexport KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"...

2018-07-30 11:44:00 341

原创抽取mysql binlog--maxwell部署

业务需求，抽取mysql数据到kafka，然后到es或hbase。相比canal，maxwell相对简单。版本1.14.41、前提1）mysql配置server_id，开启row格式的binlog2）kafka配置listeners最好使用ip，否则出现产生数据到kafka或到kafka后无法消费情况listeners=PLAINTEXT://192.168.104.104:9...

2018-07-30 11:16:04 2194 3

原创源码安装xtrabackup

1、安装依赖包tar zxf cmake-3.4.1.tar.gzcd cmake-3.4.1./configuremakemake install gzip -d libev-4.22.tar.gz tar xf libev-4.22.tar cd libev-4.22 ./configure make make install rpm -ivh

2016-05-12 19:14:49 1169

原创 xtrabackup恢复脚本

#!/bin/sh## recover scripts: need one input parameter--the absolutely path of full backup or incr backup# execute repeatablely# base-on xtrabackup 2.3.3# MYSQL environment variableexport MYSQL

2016-05-12 18:55:33 546

原创 xtrabackup备份脚本

#!/bin/sh##backup MYSQL db base-on xtrabackup 2.3.3# MYSQL environment variableexport MYSQL_BASE=/home/mariadb export MYSQL_HOME=$MYSQL_BASE/product/10.1/mariadb-1export DATADIR=$MYSQL_BASE/dat

2016-05-12 18:53:46 859

原创 Atlas分表

tlas在库内完成分表，使用参数tables指定tables = test.tb1.id.3首先创建三张结构完成相同的子表tb1_0、tb1_1、tb1_2CREATE TABLE `tb1_0` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(255) DEFAULT NULL, `age` int(11) DEF

2016-04-22 11:57:46 2692

转载 Atlas参数说明

/usr/local/atlas/conf/test.conf[mysql-proxy]#带#号的为非必需的配置项目#管理接口的用户名admin-username = user#管理接口的密码admin-password = pwd#Atlas后端连接的MySQL主库的IP和端口，可设置多项，用逗号分隔proxy-backend-addresse

2016-04-22 10:03:23 2707

原创 Atlas安装部署---读写分离

安装依赖包tar zxf libffi-3.0.11-rc2.tar.gz cd libffi-3.0.11-rc2mkdir /usr/local/libffi./configure --prefix=/usr/local/libffi/makemake installxz -d glib-2.32.4.tar.xz tar xf glib-2.32.4.tar cd g

2016-04-22 10:01:04 2200

原创 undefined reference to 解决

源码安装mysql中间件atlas，make时报错./.libs/libmysql-proxy.so: undefined reference to `EVP_CIPHER_CTX_init'./.libs/libmysql-proxy.so: undefined reference to `EVP_DecodeFinal'./.libs/libmysql-proxy.so: undefi

2016-04-21 18:04:24 9891 1

原创 mysql-proxy安装报错

1、configure时不添加LDFLAGS="-L/home/mariadb/product/10.1/mariadb-1/lib -lm -ldl" ，报如下错误make[3]: *** [c-api-burst] Error 1make[3]: Leaving directory `/root/mysql-proxy-0.8.5/tests'make[2]: *** [all-recur

2016-04-19 19:00:23 1543

原创 mysql-proxy安装

作为官方提供的mysql中间件，可以实现负载均衡、读写分离，但不支持大数据量的分库分表。安装依赖包1、安装luamkdir /usr/local/luatar zxf lua-5.1.5.tar.gzcd lua-5.1.5vi Makefile INSTALL_TOP= /usr/local改为INSTALL_TOP= /usr/local/luavi src/Makef

2016-04-19 18:48:06 1163

原创 mongodb分片

新上的售后项目，领导要求使用mongodb分片，先进行下测试。一台服务器上，3个路由节点+3个配置节点+4个副本集（每个副本集包括1主+1从+1仲裁），共18个节点。1、解压tar zxf mongodb-linux-x86_64-rhel62-3.2.1.tgz cd mongodb-linux-x86_64-rhel62-3.2.1mkdir /usr/local/mongodb

2016-03-02 16:53:53 484

原创安装mariadb galera 10.0.22（二进制）

galera集群共三个节点，192.168.10.1/2/3分别为节点1、2、31、依赖的包rpm -ivh nmap-7.01-1.x86_64.rpm rpm -ivh nc-1.84-22.el6.x86_64.rpmrpm -ivh galera-25.3.9-1.rhel6.el6.x86_64.rpmtar zxf socat-2.0.0-b8.tar.gz cd

2016-03-01 18:16:39 2072

原创 ogg同步mysql(mariadb5.5)数据到oracle

之前同步oracle到mariadb5.5，mariadb到mariadb，ogg版本都是12.1，比较顺利。这次将mariadb5.5的数据同步到oracle，因为源使用的ogg12.1，而目标使用的ogg11.2，两个不同版本，所以搞了很长时间。因为是从高版本到低版本，需要在抽取进程和传递进程中分别添加：format release 11.2，如下：view param odce1e

2016-01-13 15:41:15 3036

原创 Mysql慢查询日志分析工具

Anemometer工具将慢查询日志中语句存储到数据库中，并生成报告。安装PHP相关服务及perl语言相关模块（http://blog.youkuaiyun.com/u010587433/article/details/50339377），并开启http服务。同时需要安装Percona Toolkit工具（http://blog.youkuaiyun.com/u010587433/article/details/

2015-12-17 11:42:00 2020