不精通则死

MapReduce是一个编程模型，也是一个处理和生成超大数据集的算法模型的相关实现。用户首先创建一个Map函数处理一个基于key/value pair的数据集合，输出中间的基于key/value pair的数据集合；然后再创建一个Reduce函数用来合并所有的具有相同中间key值的中间value值。现实世界中有很多满足上述处理模型的例子，本论文将详细描述这个模型。MapReduce架构的程序能够在大量的普通配置的计算机上实现并行化处理。这个系统在运行时只关心：如何分割输入数据，在大量计算机组成的集群

我们设计并实现了Google GFS文件系统，一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。GFS虽然运行在廉价的普遍硬件设备上，但是它依然了提供灾难冗余的能力，为大量客户机提供了高性能的服务。 虽然GFS的设计目标与许多传统的分布式文件系统有很多相同之处，但是，我们的设计还是以我们对自己的应用的负载情况和技术环境的分析为基础的，不管现在还是将来，GFS和早期的分布式文件系统的设想都有明显的不同。所以我们重新审视了传统文件系统在设计上的折衷选择，衍生出了完全不同的设计思路。 GFS

转自：http://cloud.youkuaiyun.com/a/20110216/291968.html  Megastore是谷歌一个内部的存储系统，它的底层数据存储依赖Bigtable，也就是基于NoSql实现的，但是和传统的NoSql不同的 是，它实现了类似RDBMS的数据模型(便捷性)，同时提供数据的强一致性解决方案(同一个datacenter，基于MVCC的事务实现)，并且将数据 进行

DAL作为公司新架构独立的数据访问服务开始了研发。DALClient1.0暂基于mybatis3和spring3，实现了数据cache，sql拦截缓存，全局事务管理。后期将实现基于hibernate和OSGI的版本研发。

虽然是转载，当在我用spring的ResourcePatternResolver同样遇到了这个问题

淘宝网拥有国内最具商业价值的海量数据。截至当前，每天有超过30亿的店铺、商品浏览记录，10亿在线商品数，上千万的成交、收藏和评价数据。如何从这些数据中挖掘出真正的商业价值，进而帮助淘宝、商家进行企业的数据化运营，帮助消费者进行理性的购物决策，是淘宝数据平台与产品部的使命。为此

待转 转：2011年8月 《程序员》

f(f(x))=f(x)，重复多次调用操作结果等于单次操作结果。方法一：业务系统精细设计，保证结果幂等性（数学问题）方法二：系统缓存所有的请求和结果，检查到是重复的请求时，返回该请求第一次的结果。如：bool withdraw(account_id, amount)withdraw的语义是从account_id对应的账户中扣除amount数额的钱；如果扣除成功则返回t