kindy1022-优快云博客

原创使用otter实现mysql的跨机房同步

环境准备1. 操作系统 a. otter为纯java编写，windows/linux均可支持 b. jdk建议使用1.6.25以上的版本，稳定可靠，目前阿里巴巴使用基本为此版本2. 整个otter同步由几部分组成，需要预先进行安装，后续会有专门的篇幅展开介绍managernode3. otter node依赖于zookeeper进行分布式

2014-10-22 18:56:22 4247

原创亚马逊服务器下创建raid0

mdadm --create /dev/md0 --level=0 --chunk=64 --raid-devices=2 /dev/xvdb /dev/xvdc注意 /dev/xvdb /dev/xvdc 不要挂载到目录下mkdir -p /mnt/bc/sbin/mkfs -t ext3 /dev/md0mount /dev/md0 /mnt/bc

2013-09-27 15:08:59 1888

转载 MongoDB MapReduce 性能提升20倍的优化宝典

自从MongoDB被越来越多的大型关键项目采用后，数据分析也成为了越来越重要的话题。人们似乎已经厌倦了使用不同的软件来进行分析（这都利用到了Hadoop），因为这些方法往往需要大规模的数据传输，而这些成本相当昂贵。 MongoDB提供了2种方式来对数据进行分析：Map Reduce（以下简称MR）和聚合框架（Aggregation Framework）。MR非常灵活且易于使用，它可以很

2013-09-03 20:05:47 2230

转载【MongoDB for Java】Java操作MongoDB

上一篇文章: http://www.cnblogs.com/hoojo/archive/2011/06/01/2066426.html介绍到了在MongoDB的控制台完成MongoDB的数据操作，通过前一篇文章我们对MongoDB有了全面的认识和理解。现在我们就用Java来操作MongoDB的数据。开发环境：System：WindowsIDE：eclipse、My

2013-09-03 16:49:19 1993

转载 MongoDB基本用法（增删改高级查询、mapreduce）

分享一下我经常用到的自己写的mongo用法示例该示例基于当前最新的mongo驱动，版本为mongo-2.10.1.jar,用junit写的单元测试。 TestCase.javaJava代码 package com.wujintao.mongo; import java.net.UnknownHostException; im

2013-09-03 16:48:36 2432

原创 spring mongo 下 mapreduce 和 group的用法

1. KeywordsStaticsModel 数据模型private String id; private String keyword; //关键词 private String keywordUuid;//keyword + datestr 的md5 //搜索相关 private int sessionCount = 0； private int adsCount =

2013-08-30 18:17:40 2242

原创 Git 使用笔记

1. Eclipse下的egit 安装参考 http://blog.youkuaiyun.com/kindy1022/article/details/103868872. 申请 git帐号，我选择在 https://git.oschina.net/ 下申请账户3. 如果是一个新项目，且在服务器上存在，需要从服务器上克隆项目下来。（1）导入项目（2）选择 Git /

2013-08-27 16:58:08 1938

转载 github简单使用教程

github是一个基于git的代码托管平台，付费用户可以建私人仓库，我们一般的免费用户只能使用公共仓库，也就是代码要公开。对于一般人来说公共仓库就已经足够了，而且我们也没多少代码来管理，O(∩_∩)O~。下面是我总结的一些简单使用方法，供初学者参考。1.注册账户以及创建仓库要想使用github第一步当然是注册github账号了。之后就可以创建仓库了（免费用户只能建公共仓库），Cre

2013-08-27 13:44:14 1726

转载 Eclipse上GIT插件EGIT使用手册

一_安装EGIT插件 http://download.eclipse.org/egit/updates/或者使用Eclipse Marketplace，搜索EGit二_使用EGIT前的配置配置个人信息，最重要的是user.name和user.emaill Prefe

2013-08-27 13:23:50 1872

原创 Nginx 中使用 Memcached

参考配置：server { location / { set $memcached_key "$uri?$args"; memcached_pass host:11211; error_page 404 502 504 = @fallback; } location @fallb

2013-08-26 16:16:26 1926

转载 nginx+memcache安装记录

nginx利用echo-nginx-module+memc-nginx-module直接操作memcache。安装很简单。只记录命令安装Nginx所需的pcre库tar zxvf pcre-7.9.tar.gzcd pcre-7.9/./configuremake && make installcd ../tar zxvf nginx-0.9.4.tar

2013-08-26 15:37:59 1859

转载 Memcache配置手册

Memcache配置手册Memcache配置手册 11.1配置说明 11.2所需软件及文件 12搭建nginx服务器 12.1安装环境 12.2安装依赖库 22.3安装Memcached 22.4启动memcached 33启动memcache出现状况 3配置说明

2013-08-26 15:32:44 1688

转载 [Redis] redis-cli 命令总结

Redis提供了丰富的命令（command）对数据库和各种数据类型进行操作，这些command可以在Linux终端使用。在编程时，比如使用Redis 的Java语言包，这些命令都有对应的方法。下面将Redis提供的命令做一总结。官网命令列表：http://redis.io/commands （英文） 1、连接操作相关的命令 quit：关闭连

2013-08-26 11:26:28 1657

转载 Linux/Unix笔记本

了解Linux　　Linux入门——个人感想初入Linux　　Windows XP硬盘安装Ubuntu 12.04双系统图文详解　　实例讲解虚拟机3种网络模式(桥接、nat、Host-only)　　在线求助 man page文件,目录,权限　　所有者,群组,其他人　　文件的属性　　Linux目录规范和含义　　改变文件属性与权限　　常用的文件和目录操作

2013-08-23 19:25:37 1657

转载 hadoop笔记本

海量数据　　　　大数据量，海量数据处理方法总结　　　　布隆过滤器应用　　　　悉数那些“巨型”数据仓库　　　　Hadoop在业界的使用情况　　　　淘宝Hadoop集群的概况　　分布式　　　　Paxos在大型系统中常见的应用场景hadoop的实现　　　　序　　　　HDFS的基本概念　　　　HDFS 读写流程　　　　HDFS namenode源码

2013-08-23 19:23:41 1635

转载 Instagram 架构分析笔记(转)

Instagram 团队上个月才迎来第 7 名员工，是的，7个人的团队。作为 iPhone 上最火爆的图片类工具，instagram 用户数量已经超过 1400 万，图片数量超过 1.5 亿张。不得不说，这真他妈是个业界奇迹。几天前，只有三个人的 Instagram 工程师团队发布了一篇文章：What Powers Instagram: Hundreds of Instances,

2013-08-23 19:21:55 1701

转载节约内存：Instagram的Redis实践

Instagram可以说是网拍App的始祖级应用，也是当前最火热的拍照App之一，Instagram的照片数量已经达到3亿，而在Instagram里，我们需要知道每一张照片的作者是谁，下面就是Instagram团队如何使用Redis来解决这个问题并进行内存优化的。首先，这个通过图片ID反查用户UID的应用有以下几点需求：查询速度要足够快数据要能全部放到内存里，最好是一台EC2的 h

2013-08-23 19:20:28 1578

转载 db笔记本

mysql资源　　mysql5.1中文参考手册mysql管理　　基于linux使用mysql二进制包安装mysql5.5　　mysql client命令行选项　　mysqld服务器系统变量和状态变量　　mysql SQL服务器模式　　mysql 账户管理　　mysql日志文件　　　　mysql列类型　　mysql数据库操作　　mysql创建和删除

2013-08-23 19:19:04 1642

转载 Redis配置参数说明

如果是一个专业的DBA，那么实例启动时会加很多的参数以便使系统运行的非常稳定，这样就可能会在启动时在Redis后面加一个参数，以指定配置文件的路径，就象mysql一样的读取启动配置文件的方式来启动数据库。源码编译完成后，在redis-2.2.12目录下有一个redis.conf文件，这个文件即是Redis的配置文件，用配置文件来启动Redis的方法如下:[root@localhost re

2013-08-16 17:48:11 1675

转载 MySQL性能优化的最佳20+条经验

今天，数据库的操作越来越成为整个应用的性能瓶颈了，这点对于Web应用尤其明显。关于数据库的性能，这并不只是DBA才需要担心的事，而这更是我们程序员需要去关注的事情。当我们去设计数据库表结构，对操作数据库时（尤其是查表时的SQL语句），我们都需要注意数据操作的性能。这里，我们不会讲过多的SQL语句的优化，而只是针对MySQL这一Web应用最多的数据库。希望下面的这些优化技巧对你有用。

2013-08-15 14:30:06 1659

转载 morphia与spring的整合

最近研究mongoDB的各种pojo-mapping框架，中意的就两个：morphia和spring-data-mongodb。本来想着spring-data-mongodb与spring的结合更紧密些，但悲剧的是其要求spring3.0.x以上版本，与生产环境不符。查了查stackoverflow，大家评价morphia更老牌更稳定一些，于是就用这个了。研究了一番，果然与spring

2013-08-07 22:15:26 1316

原创 /bin/bash: No such file or directory 解决方法

./mongo_test_start.sh: line 1: 锘?!/bin/bash: No such file or directory执行脚本报警告信息。执行 dos2unix mongo_test_start.sh 还是不行。原来是保存文件设置了签名。重新保存文件，去掉 unicode 签名就好了。

2013-08-06 15:52:23 10307 1

转载 Solr 开发入门

Solr 是一种可供企业使用的、基于 Lucene 的搜索服务器，它支持层面搜索、命中醒目显示和多种输出格式。在这篇文章中，将介绍 Solr 并展示如何轻松地将其表现优异的全文本搜索功能加入到 Web 应用程序中。开发环境：System：WindowsWebBrowser：IE6+、Firefox3+JDK：1.6+JavaEE Server：tomcat5

2013-08-05 10:54:41 861

原创 Redis应用总结

1. 安装$ wget http://redis.googlecode.com/files/redis-2.6.14.tar.gz$ tar xzf redis-2.6.14.tar.gz$ cd redis-2.6.14$ make $ make install启动服务：/usr/local/bin/redis-server客户端命令：/usr/local/b

2013-08-02 14:22:14 946

为什么自己当初要选择Redis作为数据存储解决方案中的一员呢？现在能想到的原因主要有三。其一，Redis不仅性能高效，而且完全免费。其二，是基于C/C++开发的服务器，这里应该有一定的感情因素吧。最后就是上手容易，操作简单。记得在刚刚接触Redis的时候，由于当时项目的工期相当紧张，留给我们做出选择的空间也是非常有限，一旦技术决策失误，造成的后果也比较严重。所以在做出决定之前，我不仅快速的浏览了R

2013-07-31 12:05:41 634

转载 Redis学习手册(事务)

一、概述：和众多其它数据库一样，Redis作为NoSQL数据库也同样提供了事务机制。在Redis中，MULTI/EXEC/DISCARD/WATCH这四个命令是我们实现事务的基石。相信对有关系型数据库开发经验的开发者而言这一概念并不陌生，即便如此，我们还是会简要的列出Redis中事务的实现特征： 1). 在事务中的所有命令都将会被串行化的顺序执行，事务执行期间，R

2013-07-31 12:03:27 773

转载 redis与spring的完全集成

下载spring-data-redis，gav如下： org.springframework.data spring-data-redis 1.0.1.RELEASE org.slf4j slf4j-log4j12 org.slf4j jcl-over-slf4j 其中exclusion了两个包，原因是与项目里其它包冲突。bean配置如下，可在web.xml里

2013-07-25 19:35:21 867

转载 redis实现 spring-redis-data初学习

今天看了一些redis的客户端实现、主要分为spring-redis-data 、jredis今天先记录下spring-redis-data的学习心得；spring-redis-data 中我目前主要用了它的存、取、清除。先看配置吧redis-manager-config.properties ：[html] view plaincopy

2013-07-25 19:28:39 1179

转载 jar包用途(jar功能对照表)

axis.jar SOAP引擎包 commons-discovery-0.2.jar 用来发现、查找和实现可插入式接口，提供一些一般类实例化、单件的生命周期管理的常用方法. jaxrpc.jar Axis运行所需要的组件包 saaj.jar 创建到端点的点到点连接的方法、创建并处理SOAP消息和附件的方法，以及接收和处理SOAP错误的方法. wsdl4j-1.5.1.jar Axis运

2013-07-10 14:01:11 1858

转载 phpmyadmin #1045 #2002 无法登录 MySQL 服务器的解决方法

1.#2002 无法登录 MySQL 服务器出现这个错误，表示没有连接到数据库。修改config.inc.php文件，将$cfg['Servers'][$i]['host'] = 'localhost'; 改为$cfg['Servers'][$i]['host'] = '127.0.0.1';2.#1045 无法登录 MySQL 服务器这个错误是因为密码或者用户名

2013-07-09 17:50:42 1302

转载关于phpMyAdmin出现"#2000 无法登录 MySQL 服务器"的问题

今天用本机装了个phpMyAdmin，版本4.0，想用它来连一台内网服务器上的Mysql，1.首先说下phpmyadmin的安装 a.解压放到网站的某个目录下，如mydbb.将根目录下config.sample.inc.php复制成config.inc.php于是乎修改phpMyAdmin配置文件config.inc.php，增加以下代码：$i++;$c

2013-07-09 17:49:18 1052

转载如何避免MySQL发生乱码

如何避免MySQL发生乱码为避免将资料库MySQL的内容呈现到网页时会出现乱码的情形，可以利用以下的方式检查以及更改MySQL内的文字码设定(CharacterSet)。检查MySQL内的文字码设定在MySQL的环境下输入以下的MySQL指令，查看目前的文字码设定(CharacterSet)状态。可以得知各文字码的预设值为「lanten1」。mysql> showvaria

2013-07-08 11:14:49 969

转载 Centos5.6下MySQL Proxy0.8.2的安装及测试

【51CTO独家特稿】MySQL Proxy就是这么一个中间层代理，简单的说，MySQL Proxy就是一个连接池，负责将前台应用的连接请求转发给后台的数据库，并且通过使用lua脚本，可以实现复杂的连接控制和过滤，从而实现读写分离和负载平衡。对于应用来说，MySQL Proxy是完全透明的，应用则只需要连接到MySQL Proxy的监听端口即可。当然，这样proxy机器可能成为单点失效，但完全可以

2013-07-08 11:09:12 712

转载配置MysqlProxy连接阿里云的内网rds数据库

最近项目需要，将平台迁移至阿里云的rds数据库上，由于rds设置为内网访问，通过云主机间接访问又不太方便，所以临时在一台云主机上临时配置了一个mysqlproxy，用来在公司通过公网访问数据库，待迁移完毕测试没有问题后，再将mysqlproxy关掉！简单记录了配置过程1，mysql官网下载mysql-proxy-0.8.3-linux-glibc2.3-x86-64bit.tar.gz；

2013-07-08 10:50:11 3047

转载使用Amoeba for mysql实现mysql读写分离

Amoeba for MySQL致力于MySQL的分布式数据库前端代理层，它主要在应用层访问MySQL的时候充当query 路由功能，专注分布式数据库 proxy 开发。座落与Client、DB Server(s)之间。对客户端透明。具有负载均衡、高可用性、Query过滤、读写分离、可路由相关的query到目标数据库、可并发请求多台数据库合并结果。在Amoeba上面你能够完成多数据源的高可

2013-07-05 18:12:55 654

转载 Amoeba for MySQL---分布式数据库Proxy解决方案

Amoeba for MySQL 位于Client、Database Server(s)之间，具有负载均衡、高可用性、sql过滤、可承受高并发、读写分离、Query Route（解析sql query语句，并且根据条件与预先设定的规则，请求到指定的目标数据库。可并发请求多台数据库合并结果）、对客户端透明，能降低数据切分带来的复杂多数据库结构、数据切分规则给应用带来的影响。适用mysql 4.1或者

2013-07-05 18:11:50 843

转载可伸缩性最佳实践：来自eBay的经验

在eBay，可伸缩性是我们每天奋力抵抗的一大架构压力。我们所做的每一项架构及设计决策，身前身后都能看到它的踪影。当我们面对的是全世界数以亿计的用户，每天的页面浏览量超过10亿，系统中的数据量要用皮字节（1015或250）来计算——可伸缩性是生死交关的问题。在一个可伸缩的架构中，资源的消耗应该随负载线性（或更佳）上升，负载可由用户流量、数据量等测量。如果说性能衡量的是每一工作单元所需的资源消

2013-07-05 14:46:26 714

转载 MySQL主从复制配置

Mysql的主从复制至少是需要两个Mysql的服务，当然Mysql的服务是可以分布在不同的服务器上，也可以在一台服务器上启动多个服务。(1)首先确保主从服务器上的Mysql版本相同(2)在主服务器上,设置一个从数据库的账户,使用REPLICATION SLAVE赋予权限,如:mysql> GRANT REPLICATION SLAVE ON *.* TO 'slave001'@

2013-07-04 16:55:10 616

原创在mysql不停机的情况下，转移mysql文件路径

mysql的数据文件想完整的拷贝出去，必须保证mysql没有写操作，大家通常的做法是所表，如果表特别多的情况下操作也不方便，最方便的做法就是把连接的数据库账户修改为只读操作，文件拷贝完成后，再恢复可以写状态。这样也不需要停机，也能保证用户正常浏览网站。全部权限：grant ALL PRIVILEGES on *.* to 'username'@'%' id

2013-07-03 14:05:01 866

转载 linux下测试磁盘的读写IO速度

有时候我们在做维护的时候，总会遇到类似于IO特别高，但不能判定是IO瓶颈还是软件参数设置不当导致热盘的问题.这时候通常希望能知道磁盘的读写速度，来进行下一步的决策。　　下面是两种测试方法：　　(1)使用hdparm命令　　这是一个是用来获取ATA/IDE硬盘的参数的命令，是由早期Linux IDE驱动的开发和维护人员 Mark Lord开发编写的( hdparm has been wr

2013-07-02 18:09:08 825