浩然然然的博客

实现对网站流量数据分析。根据给的用户上网日志记录数据，计算出总流量最高的网站Top3(网站例如：v.baidu.com，weibo.com)；根据给的用户上网日志记录数据，计算出总流量最高的手机号Top3；根据给的手机号段归属地规则，计算出总流量最高的省份Top3；根据给的手机号段运营商规则，计算出总流量最高的运营商Top2；根据给的手机号段归属地规则，计算出总流量最高的城市Top3；

Map阶段： 读取数据，k1 为偏移量、v1 为一行数据，将销售笔数和销售额封装为java bean对象，作为 v2，k2为年份（有1998, 1999, 2000, 2001）；Shuffle阶段： 有 4个年份，因此设置 4个分区，排序、规约、分组采取系统默认；Reduce阶段： 对 shuffle 过来的新的 v2，即每个集合的 bean 对象中的销售笔数和销售额分别进行相加，得到 v3，即每个年份的销售笔数和销售总额，k3是 k2，保持不变。

Map阶段： 编写封装数据的类（继承WritableComparable，重写对应方法），将读到的职业和薪水数据封装为 k2，此时 v2 为 null；Shuffle阶段： 默认操作；Reduce阶段： 将 shuffle 默认操作后拉取新的<k2，v2>，这时<k3，v3>和新的<k2，v2>一样。

Map阶段： 将每一行作为 k2，v2 为null；Shuffle阶段： 自定义分区，实现薪水大小的分区，三个区。其他默认，完成后，得到新k2，v2，和原来 k2、v2 类型一样；Reduce阶段： 设置3个 ReduceTasks 来拉取 新k2，v2，得到 k3，v3，即实现了自定义分区。

本次实验Map后使用了Combiner。Map阶段：k1 为文本偏移值，v1 为每行的数据，进行切割，得到 k2 为每个单词。V2 都为 1，然后写到上下文对象中。Shuffle阶段：这里使用了规约，以减少网络传输量（和 reduce 代码一样），分区、排序、分组采用系统默认。Reduce阶段：shuffle 后得到新的 k2 和 v2，此时 v2 是一个集合，元素都是1，对他相加就可以得到对应单词出现的次数，即 v3，而 k3 和新的 k2 是一样的。

本文主要介绍zookeeper的基础知识、监听机制以及leader选举

在 MapReduce 1.x 中，任务调度是 JobTracker，任务执行是 TaskTracker；而在 MapReduce 2.x 中，引入了 YARN，YARN 中的 ResourceManager负责任务资源的分配，ApplicationMaster 负责任务进度监控的工作，大大提升了 MapReduce 的性能。

本文主要介绍 MapReduce 的基本概念以及详细介绍该框架的计算流程，包括map、shuffle、reduce。Mapreduce 是面向大数据并行处理的计算模型、框架和平台，其处理过程分为 Map 阶段和 Reduce 阶段。Mapreduce 是一种可用于数据处理的编程框架，其采用 分而治之 的思想.MapReduce 的核心就是 Shuffle 过程，Shuffle 过程是贯穿于 map 和 reduce 两个过程的。在 Map 端包括 spill 过程，在 Reduce 端包括 copy 和 s

本文主要介绍 HDFS 的设计理念以及详解读流程、写流程和高可用机制等知识。Hadoop 中的 HDFS 被设计成适合运行在通用硬件上的分布式文件系统，他和现有的分布式文件系统有很多相同点，同时也是有区别的，HDFS 放宽了 POSIX 约束，来实现流式读取文件系统数据，并且能提高吞吐量的数据访问。GFS 是为了解决在网络抓取和索引过程产生大量的文件的存储需求，为解决大量文件的存储，HDFS 就诞生了。

大数据时代已经到来，每天都产生大量的数据，大数据数据层次特征最为经典的是大数据的 4V 特征。以前数据的存储往往是传统的数据库存储，现在是行不通的，而 Hadoop 是一个分布式系统基础框架，用来解决数据的存储和计算，他是由 Doug Cutting（Apache Lucene 创始人）基于 Google 的三辆马车（论文）实现的。Hadoop安装模式有三种：单机模式、伪分布式模式、完全分布式模式。

一致性算法的出现是为了解决一致性问题，一致性问题是指对于一组服务器（集群），给定一组操作，需要使用一种协议使得它们的结果最终达成一致，常用的一致性算法有 Paxos、Raft、ZAB 算法等。如何构建一个既兼顾可用性又兼顾一致性的分布式系统，渐渐地就有了 Cap、Base 等分布式系统经典理论的出现。CAP 理论：一致性（Consistency）可用性（Availability）分区容错性（Partition tolerance）对于一致性、可用性、分区容错性，一个分布式系统最多同时满足其中