lixiaomei0623的专栏

Hadoop和Spark概述 一. 简单说说Hadoop 1. Hadoop的产生背景  在过去的 20 年里， 社会的各个领域所产生的数据实现了大规模的增长，并且就目前来看，未来全球的数据量将呈现出爆炸性的增长趋势,因此将会产生海量数据。2008 年《自然》杂志刊登了名为“Big Data”的专辑，正式提出大数据的概念，标志着大数据时代的到来。随之而来的研究，加深了人们对大数据时代的认识。大数据正在改变着人们的生活、工作和思想。  面对如此海量的数据，传统的数据计算和数据存储方式已经无法满足要求，因此在

1、hadoop 1）hadoop简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 Hadoop实现了一个分布式文件系统HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的硬件上；而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。 Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapRed...