qq_42174021的博客

原创 mapreduce在yarn流程

原创 mapreduce实例2-自定义类型

数据如下1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 24 27 2481 24681 2001363157995052 13826544101 5C-0E-8B-C7-F1-E0:CMCC 120.197.40.4 4 0 264 0 200136315799107...

原创 mapreduce实例1-topN

读取文件request.dat2017/07/28 qq.com/a2017/07/28 qq.com/bx2017/07/28 qq.com/by2017/07/28 qq.com/by32017/07/28 qq.com/news2017/07/28 sina.com/news/socail2017/07/28 163.com/ac2017/07/28 sina.com/new...

转载 （转载）mapreduce实例3-自定义Partioner Shuffle阶段：partition分区以及自定义使用注意事项

一：partition分区(shuffle阶段)Mapreduce中会将map输出的kv对，按照相同key分组，然后分发给不同的reducetask（所以这也决定了为什么最终的文件个数，即分区个数跟reducetask数量一样了。）。默认分区是根据key的hashCode对reduceTasks个数取模得到的。用户没法控制哪个key存储到哪个分区。默认系统的patitioner类，实现类时has...

原创 java数据类型

一、Java数据类型变量就是申请内存来存储值。也就是说，当创建变量的时候，需要在内存中申请空间。内存管理系统根据变量的类型为变量分配存储空间，分配的空间只能用来储存该类型数据。1、基本数据类型Java语言提供了八种基本类型。六种数字类型（四个整数型，两个浮点型），一种字符类型，还有一种布尔型。2、引用类型在Java中，引用类型的变量非常类似于C/C++的指针。引用类型指向一个对象，...

原创 maprecude总结

- map task：读数据：InputFormat–>TextInputFormat 读文本文件–>SequenceFileInputFormat 读Sequence文件–>DBInputFormat 读数据库处理数据：maptask通过调用Mapper类的map（）方法实现对数据的处理分区： 将map阶段产生的key-value数据，分发给若干个reduce tas...