Hadoop,Spark和Storm
由于Google没有开源Google分布式计算模型的技术实现,所以其他互联网公司只能根据Google三篇技术论文中的相关原理,搭建自己的分布式计算系统。
Yahoo的工程师Doug Cutting和Mike Cafarella在2005年合作开发了分布式计算系统Hadoop。后来,Hadoop被贡献给了Apache基金会,成为了Apache基金会的开源项目。Doug Cutting也成为Apache基金会的主席,主持Hadoop的开发工作。
本文介绍了Hadoop、Spark和Storm三大分布式计算系统,包括它们的起源、特点以及应用场景。Hadoop基于MapReduce和HDFS,适合离线复杂数据处理;Spark优化了Hadoop,利用内存计算,提供高速数据处理能力,尤其适用于快速离线处理;而Storm则专注于实时数据流处理,提供在线实时计算功能。
由于Google没有开源Google分布式计算模型的技术实现,所以其他互联网公司只能根据Google三篇技术论文中的相关原理,搭建自己的分布式计算系统。
Yahoo的工程师Doug Cutting和Mike Cafarella在2005年合作开发了分布式计算系统Hadoop。后来,Hadoop被贡献给了Apache基金会,成为了Apache基金会的开源项目。Doug Cutting也成为Apache基金会的主席,主持Hadoop的开发工作。
1523
369
376

被折叠的 条评论
为什么被折叠?