sells2012的专栏

前言   一般而言，标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一步来讲，如果读者读罢此文，却无任何收获，那么，我也甘愿背负这样的罪名，:-)，同时，此文可以看做是对这篇文章：十道海量数据处理面试题与十个方法大总结的一般抽象性总结。    毕竟受文章和理论之限，本文将摒弃绝大部分的细节，只谈方法/模式论，且注重用最通俗最直白的语言阐述相关问

大数据的概念炒的很火，无非就是时代变了，信息量大了，需要处理的数据量也变大。这就考验了现代计算机的处理能力，于是聪明的人提出了分布式计算的概念，可以利用在一个网络中的所有计算机进行并行计算，大大增加了处理效率。对于大数据的概念，最直观的就是有个大文件，需要对大文件中的数据进行处理，如果一次性读入内存处理，势必会造成计算机的巨大压力，比如有个1G的文件，要对立面的所有数据进行排序，首先看