ydcun知识点积累

hadoop解决了分布式存储与计算问题，但是大部分都是进行的离线计算时间周期比较长。企业里急切的希望解决实时的进行大数据分析，如何搭建一个企业的实时数据平台： 1.收集数据  flume工具（分级，安全，压缩） 2.汇总 flume    消息队列KAFKA(基于硬盘但是速度很快) hadoop集群 3.实时处理引擎 4.结果存储 mysql  mongodb  Redis HBase

Zookeeper集群环境依赖jdk1.6以上版本，Zookeeper集群节点至少三个，因为内部机制有宕机的节点剩余节点必须过半才能正常运行。Zookeeper每个节点的都是平等的，通过内部选举算法选举一个leader其它均为follower。