半道出家的和尚

在进入集群系统架构探讨之前，先定义一些专门术语：1. 集群(Cluster)：是一组独立的计算机系统构成一个松耦合的多处理器系统，它们之间通过网络实现进程间的通信。应用程序可以通过网络共享内存进行消息传送，实现分布式计算机。 2. 负载均衡(Load Balance)：先得从集群讲起，集群就是一组连在一起的计算机，从外部看它是一个系统，各节点可以是不同的操作系统或不同硬件构成的计算机。如一个提供W

Web2.0网站，数据内容以几何级数增长，尤其是那些小文件，几K～几百K不等，数量巨多，传统的文件系统处理起来很是吃力，很多网站在scaling的过程中都遇到了这样的问题：磁盘IO过高；备份困难；单点问题，容量和读写无法水平扩展，还存在故障的可能。YouTube也碰到这样的问题，每一个视频有4个缩微图，这样的话缩微图数量是视频数量的四倍，想象一下YouTube有多少视频，看一下他们遇到的问题：

GridGain 2.0发布了，GridGain是一个开源的网格计算框架，专著于提供平行计算能力，能够与JBoss和Spring相集成。GridGain 2.0新的属性包括：全动态地图启用；独一无二的提前和滞后的动态加载平衡能力等。点击进入一下GridGain资源：下载 GridGain 2.0http://www.gridgain.org/downloads.html查看文档 Documenta

本文尝试使用 Nutch 0.8.1 来为几个指定的网站建立全文索引，且不使用 Hadoop 提供的分布式能力，只是简单地在一台单独的机器上完成索引工作。如果需要使用 Nutch 的分布式能力，需要熟悉一下 Hadoop.约定 Nutch 部署后的目录结构如下：/home/hys/nutch-deployed    /nutch-0.8.1        (Nutch 0.8.1 instal

搜索巨擎Google凭借其云计算技术理念走在了大型数据中心架构配置的前沿。Sun公司的首席技术官Greg Papadopoulos曾经将云计算比作为一种名为"红移(Red Shift)"的天体光谱现象，而Sun公司也正是目前市场中唯一一家提供基于云计算理念的系统架构解决方案的厂商。天文学家常常用多普勒效应 (Doppler effect)或者红移现象来定义宇宙的扩张。在天文学里，一个天体的光谱向红

FeedBurner（以下简称FB，呵呵）我想应该是大家耳熟能详的一个名字，在国内我们有一个同样的服务商，叫做FeedSky。在2004年7月 份，FB的流量是300kbps，托管是5600个源，到2005年4月份，流量已经增长到5Mbps，托管了47700个源；到2005年9月份流量增 长到20M，托管了109200个源，而到2006年4月份，流量已经到了115Mbps，270000个源，每天点

据国外媒体报道 日前，雅虎紧随谷歌步伐，再次调整搜索引擎，推出Hadoop服务。Hadoop可以处理大规模的分布式运算任务，它是基于谷歌MapReduce的一个开源软件和文件系统。其通过搜索引擎可以实现所有链接。 雅虎计划以Hadoop取代自己的软件产品，并在具有1万个核心处理器的Linux服务器上运行。与雅虎过去的软件相比，MapReduce的处理速度提高了34%. Hadoop是阿帕奇软件基金

微软著名的C++大师Herb Sutter在2005年初的时候曾经写过一篇重量级的文章：”The Free Lunch Is Over: A Fundamental Turn Toward Concurrency in Software“，预言OO之后软件开发将要面临的又一次重大变革-并行计算。摩尔定律统制下的软件开发时代有一个非常有意思的现象：”Andy giveth, and Bill

最新版的 Tomcat servlet 容器提供集群和负载均衡的能力，对于部署可升级、健壮的Web应用来说，这是必不可少的。这篇文章的第一部分描述集群与负载均衡的特性和要点。第二部分举出一个如何配置 Tomcat 集群的实例，同时介绍在集群环境中使用内存复制的方式来实现 session 的持久化 。Tomcat 5 自带一个基于规则的负载均衡应用。根据两种负载均衡策略（扩展自规则API，分别是

当游戏服务器群达到一定规模后，让用户只从一个入口连入会给这个入口带来很大的压力。这样，我们就需要让服务器群中的多台机器都允许用户直接连接。当服务器开放给用户直接登陆后，必须面临的一个问题就是用户身份认证的问题。大多数提供网络服务的公司都做了一套统一的用户认证系统，比如微软的 passport ，网易的通行证，等等。为了避免重复验证用户身份而给用户认证系统带来过大的负担，云风在这里给出一

Tokyo CabinetTokyo Cabinet(简称TC)是MikioHirabayashi开发的一种DBM的开发库，其数据文件只有一个，里面存放多个的数据记录，所有操作都是依据key做主键操作。key，value都可以是连续不定长，即可以是二进制，也可是是字符串。数据文件中的记录组织有三种模式，hash表，B+树，定长数组。做为hash表，主键key必须是唯