
Mapreduce
文章平均质量分 74
Binder?
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
MapReduce_Join示例
Join示例: 需求:两个文件student_info.txt和student_class_info.txt student_info.txt: Amy 00001 Tom 00002 Binder 00003 student_class_info.txt 00001 Chinese 00002 Math 00003 English 要求输出: Amy Chi原创 2016-11-13 10:51:31 · 381 阅读 · 0 评论 -
Mapreduce_WritableComparable自定义示例
通过override compareTo()方法来实现自定义排序规则 代码如下:package com.xfyan.MR.one; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import org.apache.hadoop.io.Text; import org.apach原创 2016-11-13 11:08:40 · 529 阅读 · 0 评论 -
MapReduce_TotalSort示例
示例代码: package com.xfyan.four; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.Text; import org.apache.hadoop.m原创 2016-11-13 11:23:19 · 291 阅读 · 0 评论 -
MapReduce_SecondarySort示例
示例代码: package com.xfyan.three; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache原创 2016-11-13 11:25:15 · 340 阅读 · 0 评论 -
Hadoop性能调优
一.操作系统调优 1.避免使用swap分区 2.调整内存分配策略 系统内核根据vm.overcommit_memory的值来决定分配策略,值为0,1,2。 0表示内核将检查是否有足够的可用内存供应用进程使用,如果有则申请允许,否则内存申请失败 1表示内核允许分配所有的物理内存,而不管内存的内存状态如何 2表示内核允许分配超过所有物理内存和交换空间的总和,通过vm.overcommit_原创 2016-11-15 16:34:36 · 546 阅读 · 0 评论