sparkliang的专栏

   本文的目的就是为了展示CRC是如何从最原始的算法开始，逐步演变成基于校验表的CRC算法的全过程,你将会看到从基于bit的基本CRC算法如何逐步推演==〉扩张到使用CRC校验表的逐Byte计算==〉扩张到如何去掉追加的r个0==〉考虑实际中的位反转；直到最终的CRC32算法；   鉴于优快云图片上传问题，发个PDF放在资源中，http://sparkliang.dow

透明性对于系统的重要性会超过大多数人的想象！特别对于大规模分布式系统，缺乏了透明性，基本上就是一个不可维护的系统。透明性就是，随时能够知晓系统的运行状态，运行历史，关键参数指示当前运行是否正常；用户的详细操作历史、创建了什么文件，删除，又恢复...，发起过什么请求，都是应该可查的

这段时间的工作感想，关于系统架构，最重要和核心的东西就是数据流的路径。数据流路径清晰可循的架构就是良好的架构，否则就是混乱的架构。再则就是分层的原则，分层原则可以说是“单一清晰”的延伸。分层清晰，则职责清晰。职责清晰，才能够各部分运转有序，各司其责。 剩下的，比如模式的应用，数据库的选择，存储的选择，类设计，接口等等内容，不能说不重要，但

设计模式之策略模式<br /> 策略模式的定义<br />先来看看什么是策略模式：<br /> 定义和封装一个算法家族，并使这个家族种的各个算法可以相互替换，以使得算法可以独立于使用它的客户端而演变。UML如下所示。<br /> 这里的算法属于同一个算法家族，比如都是一组寻路算法，但是策略各有不同，有A-star，有简单寻路等等。<br />需求实例及初步设计<br />现在有一组需求，设计和展现坦克、榴弹炮、自行火炮等武器。它们都是装甲车辆，具有很多相同点，很自然我们会设计一个装甲车基类，并让

豆瓣网CTO洪强宁讲述网站架构变迁主要内容是，随着访问量的增加，豆瓣遇到的问题和其解决之道，不错。图片太多了，直接给出链接：http://www.cnblogs.com/Mainz/archive/2009/06/28/CTO_Douban_Xiaonei_Renren_Website.html 网站的发展阶段及技术方案： 校内网CTO黄晶讲述网站架构变迁每

转载几篇关于豆瓣等SNS网站和Social Game的架构设计文章；第一篇：豆瓣的架构其中提到了不少开发Web2.0网站的经验，值得分享；豆瓣的架构～2009-03-24 21:13:27关键字包括：nginx,lighttpd，quixote,Memcached,mogile FS,Mako,Gentoo Linux,Xapian,spreadps:窃以为第一

应该说搞分布式系统必读的文章了，转过来，这是2008年12月Werner revise过的版本，先贴上内容简介：分布式系统的CAP理论CAP理论（data consistency, system availability, and tolerance），也就是数据一致性，系统可用性和网络分区容错性，在一个分布式系统中CAP是不能同时保证的，最多只能同时满足两个。如果一个系统不必

转kuqin网上一篇介绍人人网实现海量存储的文章，人人网构建了自己的存储系统Nuclear，先简单列列感想。 又一个使用java构建的分布式的key-value存储系统，在设计思想上严重受到GFS的影响。在存在中心管理节点的情况下，怀疑其提到的“无限扩展性”，夸张了；不过通过一致性hash算法来确定key对应的value会落到哪个存储节点上，使得中心节点对存储节点的信息知晓最少

转一篇关于Hadoop系统架构设计的文章，作者翻译的不错，其英文原文是理解Hadoop的经典文章。原文出处：http://www.blogjava.net/killme2008/archive/2008/06/05/206043.htmlHadoop分布式文件系统：架构和设计要点 原文：http://hadoop.apache.org/core/docs/current

现在已经进入了一个张口就是“今天你云了没？”的时代，应该好好研究研究大规模数据存储和处理了，像google的map reduce技术，开源的hadoop；map reduce的思想来自于函数式编程语言，看来要想进步提高，还得眼界开阔啊！转载一篇孟岩关于map reduce的文章。Map Reduce – the Free Lunch is not over?微软著名的C++大师

一旦系统达到了一定的规模，很多看起来本该不是问题的问题也会一个一个接连跳出来。 而更麻烦的是这些问题在刚开始可能根本就没有被考虑过。 特别是分布式集群系统。 前面提到过系统透明度的问题，这是其中一个，另一个密切相关的就是系统日志的存储与查询问题。 小规模集群的情况下，使用一个单主机可能就够了。 大规模用户的情况下，系统产生的日志可能会把系统淹没掉。 仅仅是那些必须记录的重要性日志，其产