kindy的开发工作室

自从MongoDB被越来越多的大型关键项目采用后，数据分析也成为了越来越重要的话题。人们似乎已经厌倦了使用不同的软件来进行分析（这都利用到了Hadoop），因为这些方法往往需要大规模的数据传输，而这些成本相当昂贵。 MongoDB提供了2种方式来对数据进行分析：Map Reduce（以下简称MR）和聚合框架（Aggregation Framework）。MR非常灵活且易于使用，它可以很

为什么自己当初要选择Redis作为数据存储解决方案中的一员呢？现在能想到的原因主要有三。其一，Redis不仅性能高效，而且完全免费。其二，是基于C/C++开发的服务器，这里应该有一定的感情因素吧。最后就是上手容易，操作简单。记得在刚刚接触Redis的时候，由于当时项目的工期相当紧张，留给我们做出选择的空间也是非常有限，一旦技术决策失误，造成的后果也比较严重。所以在做出决定之前，我不仅快速的浏览了R

Amoeba for MySQL致力于MySQL的分布式数据库前端代理层，它主要在应用层访问MySQL的时候充当query 路由功能，专注 分布式数据库 proxy 开发。座落与Client、DB Server(s)之间。对客户端透明。具有负载均衡、高可用性、Query过滤、读写分离、可路由相关的query到目标数据库、可并发请求多台数据库合并结果。 在Amoeba上面你能够完成多数据源的高可

Amoeba for MySQL 位于Client、Database Server(s)之间，具有负载均衡、高可用性、sql过滤、可承受高并发、读写分离、Query Route（解析sql query语句，并且根据条件与预先设定的规则，请求到指定的目标数据库。可并发请求多台数据库合并结果）、对客户端透明，能降低数据切分带来的复杂多数据库结构、数据切分规则给应用带来的影响。适用mysql 4.1或者

在eBay，可伸缩性是我们每天奋力抵抗的一大架构压力。我们所做的每一项架构及设计决策，身前身后都能看到它的踪影。当我们面对的是全世界数以亿计的用户，每天的页面浏览量超过10亿，系统中的数据量要用皮字节（1015或250）来计算——可伸缩性是生死交关的问题。在一个可伸缩的架构中，资源的消耗应该随负载线性（或更佳）上升，负载可由用户流量、数据量等测量。如果说性能衡量的是每一工作单元所需的资源消

Mysql的主从复制至少是需要两个Mysql的服务，当然Mysql的服务是可以分布在不同的服务器上，也可以在一台服务器上启动多个服务。(1)首先确保主从服务器上的Mysql版本相同(2)在主服务器上,设置一个从数据库的账户,使用REPLICATION SLAVE赋予权限,如:mysql> GRANT REPLICATION SLAVE ON *.* TO 'slave001'@

mysql的数据文件想完整的拷贝出去，必须保证mysql没有写操作，大家通常的做法是 所表，如果表特别多的情况下操作也不方便，最方便的做法就是把连接的数据库账户修改为只读操作，文件拷贝完成后，再恢复可以写状态。这样也不需要停机，也能保证用户正常浏览网站。全部权限：grant ALL PRIVILEGES on *.* to 'username'@'%' id

最近项目需要，将平台迁移至阿里云的rds数据库上，由于rds设置为内网访问，通过云主机间接访问又不太方便，所以临时在一台云主机上临时配置了一个mysqlproxy，用来在公司通过公网访问数据库，待迁移完毕测试没有问题后，再将mysqlproxy关掉！简单记录了配置过程1，mysql官网下载mysql-proxy-0.8.3-linux-glibc2.3-x86-64bit.tar.gz；

1.#2002 无法登录 MySQL 服务器出现这个错误，表示没有连接到数据库。修改config.inc.php文件，  将$cfg['Servers'][$i]['host'] = 'localhost';  改为$cfg['Servers'][$i]['host'] = '127.0.0.1';2.#1045 无法登录 MySQL 服务器这个错误是因为密码或者用户名

今天用本机装了个phpMyAdmin，版本4.0，想用它来连一台内网服务器上的Mysql，1.首先说下phpmyadmin的安装 a.解压放到网站的某个目录下，如mydbb.将根目录下config.sample.inc.php复制成config.inc.php于是乎修改phpMyAdmin配置文件config.inc.php，增加以下代码：$i++;$c

如何避免MySQL发生乱码为避免将资料库MySQL的内容呈现到网页时会出现乱码的情形，可以利用以下的方式检查以及更改MySQL内的文字码设定(CharacterSet)。检查MySQL内的文字码设定在MySQL的环境下输入以下的MySQL指令，查看目前的文字码设定(CharacterSet)状态。可以得知各文字码的预设值为「lanten1」。mysql> showvaria

【51CTO独家特稿】MySQL Proxy就是这么一个中间层代理，简单的说，MySQL Proxy就是一个连接池，负责将前台应用的连接请求转发给后台的数据库，并且通过使用lua脚本，可以实现复杂的连接控制和过滤，从而实现读写分离和负载平衡。对于应用来说，MySQL Proxy是完全透明的，应用则只需要连接到MySQL Proxy的监听端口即可。当然，这样proxy机器可能成为单点失效，但完全可以

排列不分先后： 1. 当性能遇到问题时，如果能在应用层进行计算和处理，那就把它从数据库层拿出来。排序和分组就是典型的例子。在应用层做性能提升总是要比在数据库层容易的多。就像对于MySQL，sqlite更容易掌控。 2. 关于并行计算，如果能避免就尽量避免。如果无法避免，记住，能力越大，责任越大。如果有可能，尽量避免直接对线程操作。尽可能在更高的抽象层上操作。例如，在iOS中，GCD

随着HTML5技术的不断发展和浏览器的不断演进，Web开发的方式也开始多种多样。CSS3引入的一些强大的新特性以及开发出来的绚丽效果，使得Web前端开发者也没有理由去拒绝该技术。 下面为你带来25个CSS3用户界面开发教程（点击标题链接查看详细内容），相信这些效果也会很快出现在你的Web项目中。 1.  基于SVG和CSS Animations的交互式信息图

一、概述：      和众多其它数据库一样，Redis作为NoSQL数据库也同样提供了事务机制。在Redis中，MULTI/EXEC/DISCARD/WATCH这四个命令是我们实现事务的基石。相信对有关系型数据库开发经验的开发者而言这一概念并不陌生，即便如此，我们还是会简要的列出Redis中事务的实现特征：      1). 在事务中的所有命令都将会被串行化的顺序执行，事务执行期间，R

1. 安装$ wget http://redis.googlecode.com/files/redis-2.6.14.tar.gz$ tar xzf redis-2.6.14.tar.gz$ cd redis-2.6.14$ make $ make install启动服务：/usr/local/bin/redis-server客户端命令：/usr/local/b

最近研究mongoDB的各种pojo-mapping框架，中意的就两个：morphia和spring-data-mongodb。本来想着spring-data-mongodb与spring的结合更紧密些，但悲剧的是其要求spring3.0.x以上版本，与生产环境不符。查了查stackoverflow，大家评价morphia更老牌更稳定一些，于是就用这个了。研究了一番，果然与spring

上一篇文章: http://www.cnblogs.com/hoojo/archive/2011/06/01/2066426.html介绍到了在MongoDB的控制台完成MongoDB的数据操作，通过前一篇文章我们对MongoDB有了全面的认识和理解。现在我们就用Java来操作MongoDB的数据。 开发环境：System：WindowsIDE：eclipse、My

分享一下我经常用到的自己写的mongo用法示例该示例基于当前最新的mongo驱动，版本为mongo-2.10.1.jar,用junit写的单元测试。 TestCase.javaJava代码  package com.wujintao.mongo;    import java.net.UnknownHostException;  im

更改数据存储路径，需要先修改配置，再拷贝数据，然后重启。1. 为了保证数据的准确性最好是停止mysql 服务，或者把mysql 表的写进行加锁。/etc/my.cnf[mysqld]datadir=/var/lib/mysqlsocket=/var/lib/mysql/mysql.sockuser=mysql假设新的数据存储路径为 /data/mysqldata

如果是一个专业的DBA，那么实例启动时会加很多的参数以便使系统运行的非常稳定，这样就可能会在启动时在Redis后面加一个参数，以指定配置文件的路径，就象mysql一样的读取启动配置文件的方式来启动数据库。源码编译完成后，在redis-2.2.12目录下有一个redis.conf文件，这个文件即是Redis的配置文件，用配置文件来启动Redis的方法如下:[root@localhost re

github是一个基于git的代码托管平台，付费用户可以建私人仓库，我们一般的免费用户只能使用公共仓库，也就是代码要公开。对于一般人来说公共仓库就已经足够了，而且我们也没多少代码来管理，O(∩_∩)O~。下面是我总结的一些简单使用方法，供初学者参考。1.注册账户以及创建仓库要想使用github第一步当然是注册github账号了。之后就可以创建仓库了（免费用户只能建公共仓库），Cre

今天，数据库的操作越来越成为整个应用的性能瓶颈了，这点对于Web应用尤其明显。关于数据库的性能，这并不只是DBA才需要担心的事，而这更是我 们程序员需要去关注的事情。当我们去设计数据库表结构，对操作数据库时（尤其是查表时的SQL语句），我们都需要注意数据操作的性能。这里，我们不会讲过 多的SQL语句的优化，而只是针对MySQL这一Web应用最多的数据库。希望下面的这些优化技巧对你有用。

一_安装EGIT插件 http://download.eclipse.org/egit/updates/或者使用Eclipse Marketplace，搜索EGit二_使用EGIT前的配置配置个人信息，最重要的是user.name和user.emaill  Prefe

Redis提供了丰富的命令（command）对数据库和各种数据类型进行操作，这些command可以在Linux终端使用。在编程时，比如使用Redis 的Java语言包，这些命令都有对应的方法。下面将Redis提供的命令做一总结。 官网命令列表：http://redis.io/commands （英文） 1、连接操作相关的命令 quit：关闭连

Instagram 团队上个月才迎来第 7 名员工，是的，7个人的团队。作为 iPhone 上最火爆的图片类工具，instagram 用户数量已经超过 1400 万，图片数量超过 1.5 亿张。不得不说，这真他妈是个业界奇迹。几天前，只有三个人的 Instagram 工程师团队发布了一篇文章：What Powers Instagram: Hundreds of Instances,

mysql资源　　mysql5.1中文参考手册mysql管理　　基于linux使用mysql二进制包安装mysql5.5　　mysql client命令行选项　　mysqld服务器系统变量和状态变量　　mysql SQL服务器模式　　mysql 账户管理　　mysql日志文件　　　　mysql列类型　　mysql数据库操作　　mysql创建和删除

海量数据　　　　大数据量，海量数据 处理方法总结　　　　布隆过滤器应用　　　　悉数那些“巨型”数据仓库　　　　Hadoop在业界的使用情况　　　　淘宝Hadoop集群的概况　　分布式　　　　Paxos在大型系统中常见的应用场景hadoop的实现　　　　序　　　　HDFS的基本概念　　　　HDFS 读写流程　　　　HDFS namenode源码

了解Linux　　Linux入门——个人感想初入Linux　　Windows XP硬盘安装Ubuntu 12.04双系统图文详解　　实例讲解虚拟机3种网络模式(桥接、nat、Host-only)　　在线求助 man page文件,目录,权限　　所有者,群组,其他人　　文件的属性　　Linux目录规范和含义　　改变文件属性与权限　　常用的文件和目录操作

Instagram可以说是网拍App的始祖级应用，也是当前最火热的拍照App之一，Instagram的照片数量已经达到3亿，而在Instagram里，我们需要知道每一张照片的作者是谁，下面就是Instagram团队如何使用Redis来解决这个问题并进行内存优化的。首先，这个通过图片ID反查用户UID的应用有以下几点需求：查询速度要足够快数据要能全部放到内存里，最好是一台EC2的 h

在过去的十年中，计算世界已经改变。现在不仅在大公司，甚至一些小公司也积累了TB量级的数据。各种规模的组织开始有了处理大数据的需求，而目前关系型数据库在可缩放方面几乎已经达到极限。 一个解决方案是使用键值（Key-Value）存储数据库，这是一种NoSQL（非关系型数据库）模型，其数据按照键值对的形式进行组织、索引和存储。KV存储非常适合不涉及过多数据关系业务关系的业务数据，同时能有效减少读

近期MongoDB在Hack News上是频繁中枪。许多人更是声称恨上了MongoDB，David mytton就在他的博客中揭露了MongoDB许多现存问题。然而恨的人有之偏爱的也同样很多，作为回击：Russell Smith带来了多年工作经验的总结。Russell Smith曾担任Ops和大型网站缩放顾问并且帮助过Guardian、Experian等多家公司，MongoDB London

但凡初次接触MongoDB的人，无不惊讶于它对内存的贪得无厌，至于个中缘由，我先讲讲Linux是如何管理内存的，再说说MongoDB是如何使用内存的，答案自然就清楚了。据说带着问题学习更有效，那就先看一个MongoDB服务器的top命令结果：shell> top -p $(pidof mongod)Mem: 32872124k total, 30065320k used,

查看mongodb.log日志，发现日志里有以下语句：..............Mon Mar  317:46:37 [conn148] Assertion: 10295:getFile(): bad file number value (corrupt db?): r

Membase 是 NoSQL 家族的一个新的重量级的成员。Membase 缓存服务器的安装步骤和简单使用见： http://www.oschina.net/question/12_12770Membase是开源项目，源代码采用了A

一共有4台机器，各自挂接一个存储，希望实现：尽量节约存储高可用性存储大量数据配置方案：每一台机器做一个分片的主数据库每一台机器做一个分片的后备数据库每一台机器做一个分片的仲裁服务两个两个一组交叉作对方的后备有三台机器开配置服务有一台机器开路由服务（生产环境可以在每一台Windows App服务器上开路由服务，App服务器集群做负载均衡）

长期以来我就对分布式系统原理与实践非常感兴趣，对于Mongodb我一直很好奇，最近终于有时间能动手实验一把！我在一台Windows机器下搭建了一个 Replica Sets + Sharding 测试集群环境，以此作为我后续对于Mongodb更进一步学习的实验平台。只有一台windows机器，配置方案：1、3个分片sharding2、每一个分片由3个节点构成1主2备的Replica S

<br />来自： http://rdc.taobao.com/team/jm/archives/951<br /> <br />二级索引与索引Join是多数业务系统要求存储引擎提供的基本特性，RDBMS早已支持，NOSQL阵营也在摸索着符合自身特点的最佳解决方案。<br />这篇文章会以HBase做为对象来讨论如何基于Hbase构建二级索引与实现索引join。文末同时会列出目前已知的包括0.19.3版secondary index, ITHbase, Facebook方案和官方Coprocessor的介绍

<br /><br />来自：<br />http://apan.me/index.php/2011/05/01/mongodb%E8%AE%BE%E8%AE%A1%E8%A6%81%E7%82%B9/<br />前阵子研究自动扩容（Auto-Scaling）时，特意了解了一下MongoDB，这里简单记录一下其设计要点。<br />其官网的描述为：MongoDB是一个高性能、高扩展性的文档型开源数据库，用C++实现，其主要特性为：面向文档（document-oriented storage）支持索引高可用性

<br />前面已经简单介绍了MongoDB在OECP社区的一个应用:动态消息的设计实现。在上次的应用中，我们只介绍了MongoDB最基本的查询的功能，今天我再介绍一下MongoDB更加高级的应用：用MongoDB做统计分析。<br />OECP社区中，我们为了更加准确的分析网站的访问情况，以便能够为用户更准确的推荐他们感兴趣的内容，我们需要将页面的访问记录存储下来。对于这些数据，主要由以下几个特点：<br />与业务无关，尽量将数据存储和业务数据分离，减少业务数据库的压力。而且对数据的一致性要求不高。每当