apache--jakarta-- lucene-- hadoop-- mapReduce, ndfs
Hadoop Distributed File System hadoop 分布式文件系统
底层:hdfs:分布式文件管理系统
上一层是:mapReduce引擎 ,又jobTrackers和taskTrackers组成。
hdfs:节点:namenode提供元数据服务,datanode提供存储服务。
hdfs内部通信协议:tcp/ip
和google的对应:
hdfs----------gfs(google file system)一个分布式系统
mapReduce------------google mapReduce
Hbase-------------bigTable
Hadoop实现了HDFS文件系统和MapRecue。用户只要继承MapReduceBase,提供分别实现Map和Reduce的两个类,并注册Job即可自动分布式运行。
Google的学术论文,其中包涵有 Google File System(大规模分散文件系统) MapReduce (大规模分散FrameWork) BigTable(大规模分散数据库) Chubby(分散锁服务)
Hadoop Distributed File System hadoop 分布式文件系统
底层:hdfs:分布式文件管理系统
上一层是:mapReduce引擎 ,又jobTrackers和taskTrackers组成。
hdfs:节点:namenode提供元数据服务,datanode提供存储服务。
hdfs内部通信协议:tcp/ip
和google的对应:
hdfs----------gfs(google file system)一个分布式系统
mapReduce------------google mapReduce
Hbase-------------bigTable
Hadoop实现了HDFS文件系统和MapRecue。用户只要继承MapReduceBase,提供分别实现Map和Reduce的两个类,并注册Job即可自动分布式运行。
Google的学术论文,其中包涵有 Google File System(大规模分散文件系统) MapReduce (大规模分散FrameWork) BigTable(大规模分散数据库) Chubby(分散锁服务)