开源大数据利器汇总

http://blog.youkuaiyun.com/aquester/article/details/23340027

 

类别	名称	官网	备注
查询引擎	Phoenix	http://phoenix.incubator.apache.org/	Apache HBase之上的一个SQL中间层，完全 使用Java编写
	Stinger	http://hortonworks.com/labs/stinger/	原叫Tez，下一代Hive,Hortonworks主导开 发，运行在YARN上的DAG计算框架
	Presto	http://prestodb.io/	Facebook开源
	Shark	http://shark.cs.berkeley.edu/	Spark上的SQL执行引擎
	Pig	http://pig.apache.org/	基于Hadoop MapReduce的脚本语言
	Cloudera Impala	http://www.cloudera.com/content/cloudera/en/products-and-services/cdh/impala.html	参照Google Dremel实现
	Apache Drill	http://incubator.apache.org/drill/	参照Google Dremel实现
	Apache Tajo	http://tajo.incubator.apache.org/	一个运行在YARN上支持SQL的分布式数据仓库
	Hive	http://hive.apache.org/	基于Hadoop MapReduce的SQL查询引擎
流式计算	Facebook Puma		实时数据流分析
	Twitter Rainbird		分布式实时统计系统，如网站的点击统计
	Yahoo S4	http://incubator.apache.org/s4/	Java开发的一个通用的、分布式的、可扩展的、 分区容错的、可插拔的无主架构的流式系统
	Twitter Storm	http://storm.incubator.apache.org/	使用Java和Clojure实现
迭代计算	Apache Hama	https://hama.apache.org/	建立在Hadoop上基于BSP（Bulk Synchronous Parallel）的 计算框架，模仿了Google的Pregel。
	Apache Giraph	https://giraph.apache.org/	建立在Hadoop上的可伸缩的分布式迭代图处理 系统，灵感来自BSP（bulk synchronous parallel）和Google的Pregel
	HaLoop	https://code.google.com/p/haloop/	迭代的MapReduce
	Berkeley Spark	http://spark.incubator.apache.org/ http://shark.cs.berkeley.edu/	使用Scala语言实现，和MapReduce有较大 的竞争关系，性能强于MapReduce
	Twister	http://www.iterativemapreduce.org/	迭代的MapReduce
离线计算	Hadoop MapReduce	http://hadoop.apache.org/	经典的大数据批处理系统
键值存储	Apache Accumulo	https://accumulo.apache.org/	可靠的、可伸缩的、高性能、排序分布式的键值 存储解决方案，基于单元访问控制以及可定制的 服务器端处理。
	Redis	http://redis.io/
表格存储	Amazon SimpleDB	http://aws.amazon.com/cn/simpledb/	一个可大规模伸缩、用 Erlang 编写的高可用 数据存储
	Dynamo	https://github.com/dynamo/dynamo	P2P架构
	Cassandra	http://cassandra.apache.org/	P2P架构
	HyperTable	http://hypertable.org/	Bigtable的C++开源实现
	HBase	http://hbase.apache.org/	Bigtable在Hadoop中的实现
文件存储	CouchDB	http://couchdb.apache.org/	面向文档的数据存储
	MongoDB	https://www.mongodb.org/	文档数据库
	Tachyon	http://tachyon-project.org/ https://github.com/amplab/tachyon	加州大学伯克利分校的AMPLab基于Hadoop的 核心组件开发出一个更快的版本Tachyon， 它从底层重构了Hadoop平台。
	KFS	http://code.google.com/p/kosmosfs/	GFS的C++开源版本
	HDFS	http://hadoop.apache.org/	GFS在Hadoop中的实现
资源管理	Twitter Mesos	http://mesos.apache.org/	Google Borg的翻版
	Hadoop Yarn	http://hadoop.apache.org/	类似于Mesos
日志收集系统	Facebook Scribe	https://github.com/facebook/scribe
	Cloudera Flume	http://flume.apache.org/
消息系统	Kafka	http://kafka.apache.org/
分布式服务	ZooKeeper	http://zookeeper.apache.org/	分布式锁服务，PoxOS算法的实现，对应 Google的Chubby
RPC	Apache Avro	http://avro.apache.org/	Hadoop中的RPC
	Facebook Thrift	http://thrift.apache.org/	RPC，支持C++/Java/PHP等众多语言
集群管理	Nagios	http://www.nagios.org/	监视系统运行状态和网络信息的监视系统
	Ganglia	http://ganglia.sourceforge.net/	UC Berkeley发起的一个开源集群监视项目， 设计用于测量数以千计的节点。
	Apache Ambari	http://ambari.apache.org/	管理和监视Apache Hadoop集群的开源框架
基础设施	LevelDB	http://code.google.com/p/leveldb/	Google开发的单机版键值数据库，具有 非常高的写性能
	SSTable		Sorted String Table
	RecordIO
	Protocol Buffers	http://code.google.com/p/protobuf/	Google公司开发的一种数据描述语言， 类似于XML能够将结构化数据序列化， 可用于数据存储、通信协议等方面。 它不依赖于语言和平台并且可扩展性极强。
搜索引擎	Nutch	https://nutch.apache.org/	开源Java 实现的搜索引擎，诞生 Hadoop的地方。
	Lucene	http://lucene.apache.org/	一套信息检索工具包，但并不包含搜索引擎 系统，它包含了索引结构、读写索引工具、 相关性工具、排序等功能。
	Solr	https://lucene.apache.org/solr/	Solr是基于Lucene的搜索。