01大数据概述

一、大数据概述

 

1、大数据解决了什么问题：海量数据存储和海量数据分析

数据量越来越大，海量数据的存储

解决了数据的计算：分而治之

2、Hdoop和大数据的关系

大数据平台是：Apache开发的的分布式系统，是java 、语言写的，分布式平台，适合海量数据分布式存储和计算的平台

总结：大数据是时代发展的产物，而Hadoop是一种处理大数据的技术手段。

3、大数据4V特性

规模性（Volume）  海量数据

高速性（Velocity）  要求速度快

多样性（Veriety）(数据多种多样，结构化数据（mysql sqlserver）  半结构化数据（HTML,XML,JSON）,非结构化数据（视频，音频，图片，PPT）)

价值性（Value）有用的价值密度低，海量数据里有价值的数据是有限的。

二、Google三驾马车:

1、GFS---  2003年10月份发表了一篇论文--------HDFS

2、MapReduce----2004年12月5日发表的论文《MapReduce：超大集群的简单数据处理》--MapReduce

3、BigTable，-----2006年11月6—8日发表了论文《BigTable：结构化数据的分布式存储系统》----HBase

 

• Hadoop的核心组件

HDFS:（Hadoop Distributed File System）分布式文件系统，主要用于：海量数据的存储，量数据思想--------Doug Cutting 道格卡廷---------HDFS(开源)

MapReduce:是一种编程模型，主要用于用于大规模数据集（大于1TB）的并行运算

Yarn:（Yet Another Resource Negotiator，）另一种资源协调者

四、Hadoop几个方面的特征：

1. 高扩展性：横向扩展集群机器数量
2. 高容错性：副本机制，数据按block进行存储，每个block都自动保存多个副本，保证数据不丢失
3. 成本低：普通机器，总计个数多，处理数据
4. 高效率：Hadoop通过分发数据，在数据所在的结点上并行处理，处理速度快
5. 高可靠性，自动维护数据的多个副本，任务失败后，自动重新计算。

• 发展历史

2002-Apache Nutch(爬虫)-------2004 NDFS(是HDFS的前身)--------

2004—MapReduce论文 --------2005产生开源的MapReduce

2006年 MapReduce和HDFS独立出来，----------Hadoop\

2008年 Hadoop正式成为Apache项级项目。

• 几个版本

第一代    0.2x------1.0x   稳定版，而0.21x和0.22x ，增加了NameNode HA特性。

第二代    0.23x------2.0x    加了HDFS Federation(联邦机制)和YARN