关于hive，mapreduce，hadoop讲解

mapreduce知识

1.什么是mapreduce?特点？
mapreduce分为map端和reduce端
	map端映射，reduce端归约
	mapreduce是分布式计算框架，用于处理海量数据
	特点：
	易于编程，
	高扩展
	适合海量数据的处理
	有良好的容错性

2.maptask和reducetask的区别？

maptask解析数据通过map方法写入磁盘
reducetask通过复制map端的数据进行归约，写出磁盘

3.hadoop的自带辅助类

tool，toolrunner，configured

4.mapreduce的执行流程？

	1.定义一个数据为300M（存储默认按照块存储，大小128M）
2.300M分为3块，block01，block02，block03，分别为128M，128M，44M.每一个分块对应一个切片：split01，split02，split03.
（块：存储数据，物理上的
	切片：逻辑上的切片
	切片大小默认块大小。）

3.在切片的过程中涉及到文件输入（fileinputformat）
1.获取文件列表
2.获取文件的位置
3.获取分片的位置
4.每一个切片对应一个maptask：	maptask01,maptask02,maptask03，
5.以一个maptask为，切牌你之后执行mao（）方法
 6.map输入数据到环形内存缓冲区，默认的小100M，阈值0.8，达到80溢写
 7.从map到内存环形去涉及到分区partitioner
 分区决定map输出的数据由哪一个reduce来处理，分区的数量必须和reduce的数量保持一致。
 8.map阶段溢写了三个文件分别是：map_temp_01。。。。
map 溢写：
1.sort排序（key默认按照字典排序）
2.合并（combiner合并 数据按照key合并，不一定会发生）
3.文件合并（merge多个文件合并）
4.压缩（如果设置则会发生）
9.将溢写的3个文件merge合并程两个文件：map_res_01map_res_01,