SG的专栏

Schema-Free MySQL vs NoSQLBy Ilya Grigorik on March 01, 2010Amidst the cambrian explosion of alternative database engines (aka, NoSQL) it is almost too easy to lose sight of the fact t

1T格式化的文本，使用Mongo，失去了其schema free的特性。而且1. 数据膨胀严重2. 分shard后索引过程较缓慢3. 底层数据文件IO使用了mmap()，现在看来吃掉很多内存。似乎还有swap颠簸的问题。使系统不够稳定，特别是与其他服务共享一台物理机的时候。4. 数据均衡时不太稳定考虑是否用分布式的mysql，搞的健壮一些。

首次接触Hadoop是在2011年，当时主流版本是0.20.2，很多介绍hadoop的经典书籍也是基于那个经典的版本。0.20.2虽然经典，但也有很多不够完善的地方，比如namenode的性能瓶颈，jobtracker和tasktracker资源管理机制不够高效等等。在这些制约下，当年的雅虎也有单集群5000节点，秒级terasort的成绩，可见Hadoop是一个非常成功的分布式系统。Hadoop...

Pgloader is a usefull tool to migrate data from Mysql to Postgress with a simple command or Python execution For more information about this useful tool:– https://pgloader.io– https://github.c

5台服务器 A B C D EA为负载均衡BCDE 既做proxy server 又做storage server负载均衡工具的选择：nginx：0.6.33版本后不允许POST方法访问静态资源，swift 只有head get方法能用，post put等方法被阻挡在nginx，无法下发到proxyserver。错误表现为：405 Not Allowed修改配置文件和改

1. 分区partition每个MapTask的输出都会被分割为多个分区，Reducer会根据JobTask维护的映射关系获取自己应该处理的那一份。有多少个Reducer，Mapper的输出就应该有多少个分区。这个分区动作叫做partition，具体逻辑是由partitioner类实现（用户可以自定义自己的partitioner），partition的职责就是保证MapTask输出