哈工大许政的博客

MapReduce的学习和使用本文是基于CentOS 7.3系统环境，进行MapReduce的学习和使用CentOS 7.31. MapReduce简介1.1 MapReduce定义MapReduce是一个分布式运算程序的编程框架，是基于Hadoop的数据分析计算的核心框架1.2 MapReduce处理过程主要分为两个阶段：Map和ReduceMap负责把一个任务分解成多个任务Reduce负责把分解后多任务处理的结果进行汇总1.3 MapReduce的优点1. MapRed

Zookeeper的学习和使用本文是基于CentOS 7.3系统环境，进行Zookeeper的学习和使用CentOS 7.31. Zookeeper简介1.1 什么是ZookeeperZookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。1.2 Zookeeper工作机制Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就

Yarn的学习和使用本文是基于CentOS 7.3系统环境，进行yarn的学习和使用CentOS 7.3一、Yarn简介(1) 什么是YarnYarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。(2) Yarn基本架构Apache Hadoop YARN 主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成

HDFS的学习和使用本文是基于CentOS 7.3系统环境，进行HDFS的学习和使用CentOS 7.31. HDFS简介1.1 什么是HDFSHDFS是一个分布式文件系统，用于存储文件，通过目录树来定位文件，适合一次写入，多次读出的场景，不支持文件的修改。1.2 HDFS的优点高容错性数据自动保存多个副本；当某一个副本丢失以后，可以自动恢复适合处理大数据能够处理数据规模达到GB、TB的数据；能够处理百万规模以上的文件数量可以构建在廉价的机器上，通过多副本机制，提供可靠性1

Hadoop的安装和使用本文是基于CentOS 7.3系统环境，进行Hadoop的安装和使用CentOS 7.3hadoop-2.7.2一、Hadoop简介(1) 什么是HadoopRabbitMQ是实现了高级消息队列协议（AMQP）的开源消息代理软件（亦称面向消息的中间件）。RabbitMQ服务器是用Erlang语言编写的，而集群和故障转移是构建在开放电信平台框架上的。所有主要的编程语言均有与代理接口通讯的客户端库。(2) Hadoop的优势高可靠性Hadoop底层维护多个数据副