khxu666的博客

1. 下载Hadoop在 Apache的 Hadoop项目界面找到hadoop的 hadoop下载地址 因为直接从Apache官方下载文件速度很慢，所以在表格下面选择别的镜像站地址。 在弹出的界面中会推荐一个下载速度很快的国内镜像站。 选择其中某个版本的hadoop下载，因为现在市面上绝大部分的学习资料都是以hadoop 2.x 为基础，所以推荐大家下载hadoop 2.x的版本...

MapReduce 1.x 架构 MapReduce 1.x 采用 Master/Slave 架构，由全局唯一的 Jobtracker 和多个 TaskTacker 组成，并且在Client中提供一系列的api供编程和管理使用。其中各个组件的作用是：1. JobTracker全局唯一，主要负责集群资源监控和作业调度。JobTracker会对集群中所有的TaskTracker进行监控，...

MapReduce 基本的执行流程与学习编程语言时采用“hello world”程序作为入门示例程序不同，在大数据处理领域常常使用“wordcount”程序作为入门程序。WordCount 程序是用来统计一段输入的数据中相同单词出现的频率。其基本的执行流程如下图所示：一个基于MapReduce的WordCount程序主要由一下几个部分组成：1、Split 将程序的输入数据进行切...

MapReduce实际应用 - 查找QQ共同好友

1. Java 序列化简介序列化是从一个对象（Object）转化为一个字节流（byte stream）的过程。而反序列化恰恰相反，是在内存中使用字节流构建一个确切的 Java 对象的过程。 2. 序列化与反序列化Java 序列化的过程是与平台无关的（platform-independent），也就是说一个 Java 对象可以在一个平台上序列化之后传输到另外一个平台上进行反序列化。...