凡眼观世界

Spark架构Spark的组件Spark Core实现了 Spark 的基本功能，包含任务调度、内存管理、容错机制、与存储系统交互等模块。还定义了弹性分布式数据集(Resilient DistributedDataSet，简称 RDD)，并提供了很多API来创建和操作这些RDD。Spark Core 为其他组件提供底层的服务，其他的四个模块库都是构建在Spark Core和RDD上。Sp...

大数据体系架构hadoop介绍Hadoop是一个分布式系统基础架构,用户可以在不了解分布式底层细节的情况下，开发分布式程序、搭建大型数据仓库、PB级数据的存储、处理,、分析,、统计等，充分利用集群的威力高速运算和存储。Hadoop可以分为狭义和广义两种：狭义的Hadoop只是Hadoop本身,即HDFS+MapReduce。广义的Hadoop指的是Hadoop生态系统,是一个很庞大的...