苍茫大地的专栏

IBM Hadoop分布式并行编程系列：第一部分：http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop1/第二部分：http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop2/第三部分：http://www.ibm.co

来源：http://www.open-open.com/lib/view/open1328670771405.html1、Apache Nutch   Apache Nutch是一个用于网络搜索的开源框架，它提供了我们运行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬虫。1.1、Nutch的组件结构WebDB:存储网页数据和连接信息Fetch

来源：http://www.open-open.com/lib/view/open1328536842327.html通常，集群里的一台机器被指定为 NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves\官方地址：(http://hadoop.apache.org/co

来源：http://www.open-open.com/lib/view/open1328755683796.html  Hadoop 是Google MapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式，让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样， MapReduce的run-time系统会解决输入数据的分