Hadoop-MapReduce入门

1.mapreduce定义和优缺点？

MapReduce定义：
是一个分布式运算程序的编程框架，是用户开发”基于hadoop的数据分析应用”的核心框架。
核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并运行在hadoop集群上

优点：
1、易于编程
它简单实现一些接口，就可以完成一个分布式程序，这个分布式可以分布到大量廉价的pc机器上运行

2、良好的扩展性
当计算机资源不能得到满足的时候，可以通过简单的增加机器来扩展它的计算能力

3、高容错性
当其中一台机器挂了，他可以把上面的计算任务转移到另一个节点上运行，不至于这个任务运行失败，这个过程不需要人工参加，完全由hadoop内部完成

4、适合PB级以上海量数据的离线处理
可以实现上千台服务器集群并发工资，提供数据处理能力

缺点：
1、不擅长实时计算
无法像MySQL一样，在毫秒或秒级内返回结果

2、不擅长流式计算
流式计算的输入数据是动态的，而MapReduce的输入数据集是静态的，不能动态变化

3、不擅长DAG（有向图）计算
多个应用程序存在依赖关系，后一个应用程序的输入为前一个的输出，mapReduce使用后，每个mapReduce作业的输出结果都会写入到磁盘，会造成大量的磁盘io，导致性能非常低下

2.mapreduce的数据类型

Java类型	Hadoop Writable类型
Boolean	BooleanWritable
Byte	ByteWritable
Int	IntWritable
Float	FloatWritable
Long	LongWritable
Double	DoubleWritable
String	Text
Map	MapWritable
Array	ArrayWritable

3.查看官方的wordcount代码样例

采用反编译工具反编译源码，发现WordCount案例有Map类、Reduce类和驱动类。且数据的类型是Hadoop自身封装的序列化类型

4.自己实现wordcount代码