qq_52396030的博客

大数据时代的4v数据量大：数据量能够达到P，E甚至是Z级别数据种类多：数据有多种，如日志，图片，音频，视频等价值密度低：数据量很大，但是有价值的数据很有限速度快时效高：数据的陈胜速度快，而且实时性高。三次浪潮第一次浪潮：软件还是企业级的，数据分析已经开始，存储数据成本较高。能产生的数据有限，数据处理能力有限。第二次浪潮：互联网兴起，软件走向消费级。数据的存储成本越来越低，数据的产生速度越来越快，处理数据的能力越来越强。第三次浪潮：互联网发展走向服务化，大数据时代的技术支撑虚拟化和云

Yarn简介Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。Yarn基础架构YARN主要由ResourceManager、NodeManager、ApplicationMaster和 Container等组件。ResourceManager:管理整个集群资源调度。处理客户端的请求监控NodeManage启动和监控ApplicationMaster资源的分配和调度Node

Zookeeper作用Zookeeper是针对大型分布式系统的高可靠的协调系统（对分布式服务做协调，保证分布式服务的可靠性）。zookeeper是个协调系统,作用的对象是分布式系统。zookeeper主要是文件系统（是用来存储数据）和通知机制（服务器或者客户端进行通知，并且监督）三种一致性强一致性：更新后马上能看到弱一致性：更新后不能马上看到最终一致性：很久后能看到（只要最终能看到就行）zookeeper属于强一致性服务器zookeeper一般都是奇数台服务器，有且仅有一个lea

书写bean类package ks;import org.apache.hadoop.io.Writable;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;public class mybean implements Writable{ //定义变量 private long upFlow; //上行数据包数 private long downFlow; //下行

目录HDFS简介HDFS的设计特点特性HDFS简介HDFS（Hadoop Distributed File System，Hadoop分布式文件系统），它是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，适合那些有着超大数据集（large data set）的应用程序。HDFS的设计特点大数据文件，非常适合上T级别的大文件或者一堆大数据文件的存储。文件分块存储，HDFS会将一个完整的大文件平均分块存储到不同计算器上，它的意义在于读取文件时可以同时从多个主机取不同区