- 博客(25)
- 收藏
- 关注
RSS订阅转载 PostgresQL 安装环境
PostgresQL 安装环境一、CentOS 7 安装1. 环境说明CentOS7 PosgreSQL 11.22. 在线安装到目前为止(2019-08-10)，CentOS7 默认携带了9.2.24版本的PostgreSQL，我们可以直接从源进行安装:# 在线安装sudo yum install postgresql-server postgresql-contrib...
2019-12-05 13:49:26
559
转载 时序数据库InfluxDB：简介及安装
时序数据库InfluxDB：简介及安装在性能测试过程中，对测试结果以及的实时监控与展示也是很重要的一部分。这篇博客，介绍下linux环境下InfluxDB的安装以及功能特点。官网地址：influxdata官方文档：influxdb文档参考：InfluxDB系列教程环境：CentOS7.4 64位InfluxDB版本：1.0.2一、InfluxDB介绍Influ...
2019-12-05 10:45:30
506
转载 InfluxDB基本概念和操作
InfluxDB基本概念和操作InfluxDB基本概念1、数据格式在 InfluxDB 中，我们可以粗略的将要存入的一条数据看作一个虚拟的 key 和其对应的 value(field value)。格式如下：cpu_usage,host=server01,region=us-west value=0.64 1434055562000000000虚拟的 key 包括...
2019-12-05 10:42:40
549
原创 REDSHIFT性能优化-QUERYID-1301108
一、待优化SQLINSERT INTO cap.report_flows_hour ( "date", "hour", adid, appid, ccode, kv, sv, isroot, send, recive, "show", download, successd, install, click, "restart", fail_download ) SELECT tb."date",
2016-04-18 15:16:25
2118
原创 MYSQL FABRIC 分片测试
MYSQL FABRIC集群分片测试一、环境说明3个mysql HA组，1个mysql fabric node，1个state store数据库my_group是全局Group：MYSQL HA GROUP my_group：192.168.10.228:3306 master192.168.10.229:3306 slave1192.168.10.23
2016-04-07 18:33:02
3174
转载 mysql fabric HA测试
本文说明：本文参照了BLOG http://blog.youkuaiyun.com/seteor/article/details/42741613 做的实验，非常感谢fabric实现HA功能，自动故障切换，然后用python脚本测试HA环境说明：master node ：192.168.10.228slave node1：192.168.10.229slave node2：
2016-04-05 11:09:16
1411
原创 Mysql router高可用和负载均衡测试
Mysql router是Mysql-proxy的替代方案，现在mysql-proxy的下载已经不支持，MYSQL官方也建议下载mysql-router。Mysql-router主要是用来对读操作进行负载均衡，读写操作进行高可用下面我们先搭建一个example来看看它的功能，我这儿预先搭建了MHA环境环境如下：Mysql master：192.168.10.229Mysql s
2016-04-01 10:49:52
16929
原创 MONGODB用户、角色和权限管理
最近遇到很多问MONGODB用户认证授权方面的问题，现在特记录下来，与大家共享。一、概念理解1、用户概念Mongodb的用户是由 用户名+所属库名组成例如:登录mongo testdb1 ，创建用户testuser登录mongo testdb2 ，创建用户testuser那上面创建的用户分别是：testuser@testdb1，testuser@test
2016-03-23 15:54:44
23000
原创 MONGODB内存溢出
最近遇到一个MONGODB内存溢出的故障：报错信息如下：登录MONGODB服务器，发现MONGODB已经关闭查看mongodb log：2016-01-25T08:05:07.155+0800 [conn250804] query rmid_push_20161.record query: { _id: "a1d95abf-9caa-4488-af32-e521514499df"
2016-03-17 17:37:29
4664
原创 REDIS持久化报错失败
最近在生成环境中发现REDIS无法持久化，报错信息如下：redis log报错： [7666] 15 Jan 00:22:36.028 # Error moving temp DB file on the final destination: Invalid cross-device link [1937] 15 Jan 00:22:36.513 # Bac
2016-03-17 17:25:39
4885
原创 MYSQL打开的文件数量太多
在MYSQL数据库中，在分区表较多的情况下，经常发现下面的错误：160317 17:04:14 [ERROR] Error in accept: Too many open files处理这个问题要在操作系统层面和数据库层解决：首先查看MYSQL打开的文件数量lsof -p mysql_pid|wc -l 查看MYSQL打开的数量1、数据库层面
2016-03-17 17:23:48
4277
原创 MONGODB QR等待队列高性能优化
在生成环境中，经常遇到MONGODB等待队列很高，下面对常用情况进行分析：1、没有建立索引，导致全表扫描，系统压力飙升 处理该问题的常见方法是，查询mongostat查看哪个库锁严重，然后查看mongodb log日志，查找执行时间久的操作，然后找到对应的Collection，然后建立合适索引2、复制集重新同步导致压力飙升 查看当前数据库是否存在
2016-03-17 15:51:50
2707
原创 WEB服务器连接不上MONGODB的常用诊断方法
在运维中，经常遇到WEB服务器连接不上MONGODB的情况，下面对常用的情况进行一下分析：1、MONGODB连接数超过20000 mongodb的连接数有20000这一限制 如果WEB端如果没有配置连接池，系统忙的时候很容易超过该值。 如果WEB端已经设置好了连接池，还是超过这么多，说明系统确实很繁忙，需要考虑集群方案，用多个路由节点来承接请求
2016-03-17 15:34:54
1629
原创 TOMCAT JDBC连接不上MYSQL的常用诊断
下面对常见的情况进行分析：1、web和数据库操作系统是否有问题 web端系统日志报错：ip_conntrack: table full, dropping packet 该报错说明web服务器有掉包情况，需要更改配置 # vim /etc/sysctl.conf 添加如下行 net.ipv4.netfil
2016-03-17 15:09:22
5821
1
原创 MYSQL SQL一直等待
我们在数据库中经常执行一个SQL，一直处于等待状态，这种问题一般是由于锁等待造成的，下面来模拟这一情况。一、前提条件：1、创建表studentCREATE TABLE `student` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(20) DEFAULT NULL, `class` in
2016-03-17 13:55:01
2498
1
原创 使用nginx代理访问外网
假设SERVER A: 192.168.10.10能访问外网，DNS IP是62.138.228.28（查看DNS IP: cat /etc/resolv.conf ）1、在SERVER A安装NGINX，做下面的配置： listen 82; #server_name localhost;resolver 62.138.2
2016-03-16 17:56:53
14761
2
原创 NGINX添加subs_filter模块
1、查看nginx初始化安装时所带参数，执行nginx -V[root@yw32 nginx]# sbin/nginx -Vnginx version: nginx/1.2.8built by gcc 4.4.7 20120313 (Red Hat 4.4.7-16) (GCC) configure arguments: --prefix=/usr/local/nginx
2016-03-16 15:53:27
7341
原创 AWS EMR运行MAPREDUCE程序-WORDCOUNT
1、首先在ECLIPSE上开发WordCount程序 包名：test_mapreduce JAVA文件名：WordCount.java WordCount.java程序： package test_mapreduce;import java.io.IOException;import java.util.StringTo
2016-03-09 17:05:07
1667
原创 MYSQL死锁诊断方法
本文思路如下：1、创建一个student表，插入初始数据；2、制造死锁；3、查看show engine innodb status发现死锁SQL；4、查看binlog发现成功事务执行了哪些SQL。show engine innodb status不会显示一个事务执行了哪些SQL一、创建一个student表，插入初始数据mysql> create
2016-03-01 17:44:18
4926
转载 MYSQL外键导致死锁
本文转自BLOG ChriSQL – Chris on MySQL : http://www.chriscalender.com/advanced-innodb-deadlock-troubleshooting-what-show-innodb-status-doesnt-tell-you-and-what-diagnostics-you-should-be-looking-at/
2016-03-01 17:37:59
3068
1
转载 MongoDB 3.0新增特性一览
转载自：新浪BLOG 梁喜健的博客http://blog.sina.com.cn/s/blog_48c95a190102vedr.html引言在历经版本号修改（2.8版本直接跳到3.0版本）和11个rc版本之后，MongoDB 3.0于2015年3月3日正式发布。可以毫不夸张的说，该版本的新增特性标志着MongoDB这款典型的NoSQL数据库已经进入了一个全新的发展阶段
2016-02-23 15:10:57
499
原创 MYSQL参数调优指南
一、Join调优:1、read_rnd_buffer_size 用于MRR中ROWID的排序，该值越大，随机fecth内表数据的IO就越少 参考文档： MySQL Join算法与调优白皮书（三）：http://f.dataguru.cn/article-7339-1.html2、join_buffer_size 用于BNL
2016-02-23 11:54:35
462
转载 MySQL5.6新特性之Multi-Range Read
转载自ITPUB 杨奇龙blog（http://blog.itpub.net/22664653/viewspace-1673682）一 介绍 MySQL 5.6版本提供了很多性能优化的特性，其中之一就是 Multi-Range Read 多范围读(MRR) , 它的作用针对基于辅助/第二索引的查询，减少随机IO，并且将随机IO转化为顺序IO，提高查询效率。二 原理
2016-02-18 17:49:44
468
转载 MYSQL INDEX CONDITION PUSHDOWN
转载自大牛何登成blog（http://hedengcheng.com/?p=577）1 问题描述一条SQL，在数据库中是如何执行的呢？相信很多人都会对这个问题比较感兴趣。当然，要完整描述一条SQL在数据库中的生命周期，这是一个非常巨大的问题，涵盖了SQL的词法解析、语法解析、权限检查、查询优化、SQL执行等一系列的步骤，简短的篇幅是绝对无能为力的
2016-02-18 17:41:06
533
转载 mysql 5.6 binlog组提交实现原理
转载自 ITPUT justin Blog（http://blog.itpub.net/15480802/viewspace-1411356）Redo组提交Redo提交流程大致如下lock log->mutexwrite redo log buffer to diskunlock log->mutexfsyncFsync写磁盘
2016-02-18 17:11:17
1668
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人