Nutch代码分析之1（Hadoop和creative commons）

最新推荐文章于 2025-09-12 20:46:57 发布

转载最新推荐文章于 2025-09-12 20:46:57 发布 · 72 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/abob/archive/2006/09/25/514393.html

文章标签：

#大数据 #java

Hadoop作为Google MapReduce的一种实现，支持Nutch项目的全部数据处理。MapReduce简化了分布式编程，使得程序员能在由普通计算机组成的集群上进行并行任务处理，而无需关注底层的数据分配、错误处理等细节。

Hadoop 是 Google labs 的 MapReduce的一个实现， Nutch项目的全部数据处理都构建在其之上。MapReduce是一种简化的分布式编程模式，让程序可以自动在普通机器组成的集群中以并行方式分布执行。
就如同java程序员可以不考虑内存泄露一样，MapReduce程序员也不许要关心海量数据如何被分配到多台机器上，不需要考虑机器失效的处理，不需要考虑这些机器间如何协作共同完成工作，程序员不需要什么并发处理或者分布式系统的经验，就可以进行分布式的编程。

转载于:https://www.cnblogs.com/abob/archive/2006/09/25/514393.html