大数据学习1

大数据的定义特征：

多样的数据类型，快速的数据流转，海量的数据规模，以及数据的价值。

大数据设计的技术：

数据采集，数据处理，数据存储，可视化。

 

hadoop学习：

hdfs（分布式文件存储），yarn（作业调度框架），mapreduce（分布式计算）。

yarn：可扩展，容错性，多框架资源统一调度

hdfs：可扩展，容错性，海量数据存储

mapreduce:可扩展，容错性,海量数据离线处理

mapreduce处理wordCount示意图：